自分で管理していないクラスタを使用しています。 Tensorflowライブラリは、クラスタノードにはインストールされません。しかし、テンソルフローパッケージを使っていくつかのSparkプログラムを実行したいと思います。クラスターノード間でテンソルフローパッケージをブロードキャストするために単にspark-submit -packagesを使用することが可能かどうかはわかりません。spark-submit -packageを使用してTensorflowライブラリをブロードキャストすることは可能ですか
Tensorflow自体についてはわかりませんが、--jarsと--filesを使用してファイルにlocal jarsを渡すことができます。以下は例です：
spark-submit --master yarn-cluster --num-executors 5 --driver-memory 640m --executor-memory 640m --conf spark.yarn.maxAppAttempts=1000 \
--jars /usr/hdp/current/spark-client-1.6.1/lib/datanucleus-api-jdo-3.2.6.jar,/usr/hdp/current/spark-client-1.6.1/lib/datanucleus-core-3.2.10.jar,/usr/hdp/current/spark-client-1.6.1/lib/datanucleus-rdbms-3.2.9.jar \
--files /usr/hdp/current/spark-client-1.6.1/conf/hive-site.xml \
--class com.foobar.main
これは私が火花ストリーミング仕事と火花がインストールされていないクラスタ上のアプリケーションのマスターやドライバの実行を開始する方法の例です。だから私はそれを実行するために長いいくつかの瓶とconfigsを渡す必要があります。