Не отрабатывает bash-скрипт, работающий с hadoop через crontab

Question

#!/bin/bash
export YARN_HOME=/usr/local/hadoop
export HADOOP_OPTS=-Djava.library.path=/usr/local/hadoop/lib/native
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_INSTALL=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export HADOOP_USER_NAME=s_user114
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_CONF_DIR=/usr/local/hive/conf
export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_HDFS_HOME=/usr/local/hadoop
export SPARK_HOME=/usr/local/spark
export LD_LIBRARY_PATH=/usr/local/hadoop/lib/native:/usr/local/hadoop/lib/native:/usr/local/hadoop/lib/native:
export SPARK_CONF_DIR=/usr/local/spark/conf
export HBASE_HOME=/usr/local/hbase
export SPARK_LIBRARY_PATH=:/usr/local/hadoop/lib/native:/usr/local/hadoop/lib/native:/usr/local/hadoop/lib/native
export HADOOP_COMMON_LIB_NATIVE_DIR=/usr/local/hadoop/lib/native
export PATH=/usr/local/hbase/bin:/usr/local/hadoop/lib/native:/usr/local/spark/python:/usr/local/spark/bin:/usr/lib/jvm/java-8-openjdk-amd64/bin:/usr/local/isbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/usr/local/hadoop/sbin:/usr/local/hadoop/bin:/usr/local/hive/bin

$HADOOP_HDFS_HOME/bin/hadoop fs -ls /user/s_user114/

Импортирую переменные окружения hadoop, на директорию в hadoop есть все нужные права, скрипт работает при его обычном запуске. Через cron скрипт игнорируется.

* * * * *  /usr/bin/bash /home/s_user114/HELP.sh >> /home/s_user114/TEST.txt

drwxr-xr-x   - s_user114 hadoop          0 2025-02-05 08:14 /user/s_user114

Answer 1

Проблема решилась добавлением вообще всех переменных окружения. UPD: далее было выявлено, что скрипт может работать при использовании следующих переменных:

export USER=s_user114
export HADOOP_HDFS_HOME=/usr/local/hadoop
$HADOOP_HDFS_HOME/bin/hadoop fs -ls /user/s_user114/

БЛОГ НА HUSL

Не отрабатывает bash-скрипт, работающий с hadoop через crontab

Ответы (1 шт):