Apache Spark for .NET не находит файл из проекта примеров
Команда запуска примера:
spark-submit --class org.apache.spark.deploy.dotnet.DotnetRunner --master local ~/dotnet.spark/src/scala/microsoft-spark-3-2/target/microsoft-spark-3-2_2.12-2.1.0.jar /home/lovelake/dotnet.spark/artifacts/bin/Microsoft.Spark.CSharp.Examples/Debug/netcoreapp3.1/ubuntu.21.04-x64/publish/Microsoft.Spark.CSharp.Examples Sql.Batch.Basic $SPARK_HOME/examples/src/main/resources/people.json
.bashrc:
export SPARK_HOME=~/bin/spark-3.2.1-bin-hadoop3.2
export PATH="$SPARK_HOME/bin:$PATH"
export HADOOP_HOME=~/bin/hadoop-3.2.2
export LD_LIBRARY_PATH="$HADOOP_HOME/lib/native:$LD_LIBRARY_PATH"
export DOTNET_WORKER_DIR=~/dotnet.spark/artifacts/bin/Microsoft.Spark.Worker/Debug/netcoreapp3.1/ubuntu.21.04-x64/publish
export TEMP_PATH_SPARK=~/dotnet.spark/artifacts/bin/Microsoft.Spark.CSharp.Examples/Debug/netcoreapp3.1/ubuntu.21.04-x64
export DOTNET_ASSEMBLY_SEARCH_PATHS="$TEMP_PATH_SPARK/publish:$DOTNET_ASSEMBLY_SEARCH_PATHS"
В выводе команды есть исключения, перед которыми расшифровка:
[Warn] [AssemblyLoader] Assembly 'Microsoft.Spark.CSharp.Examples, Version=2.1.0.0, Culture=neutral, PublicKeyToken=cc7b13ffcd2ddd51' file not found 'Microsoft.Spark.CSharp.Examples.dll' in '/home/lovelake/dotnet.spark/artifacts/bin/Microsoft.Spark.CSharp.Examples/Debug/netcoreapp3.1/ubuntu.21.04-x64/publish:,/tmp/spark-be403162-ca20-4eb3-ad76-db04636fe228/userFiles-840fbcda-37be-4422-928f-26a00d495e2a,/home/lovelake,/home/lovelake/dotnet.spark/artifacts/bin/Microsoft.Spark.Worker/Debug/netcoreapp3.1/ubuntu.21.04-x64/publish/'
Не ясно, откуда берётся ':' после /publish в пути. Возможно, в этом и есть причина нижеследующего сообщения?
[Error] [TaskRunner] [1] ProcessStream() failed with exception: System.IO.FileNotFoundException: Assembly 'Microsoft.Spark.CSharp.Examples, Version=2.1.0.0, Culture=neutral, PublicKeyToken=cc7b13ffcd2ddd51' file not found 'Microsoft.Spark.CSharp.Examples.dll'
Путь существует. Файл в папке есть.