jarファイルは、私はEC2サーバー上で次のように設定をされているドッキングウィンドウを持っているS3

Question

上にあるときに失敗火花提出します。ここで

docker exec -it master bin/spark-submit --master spark://0.0.0.0:7077 --verbose --class my/class s3://myBucket/path 

は、実行からのプリントアウトです：

Warning: Skip remote jar s3://myBucket/MyBin. 
java.lang.ClassNotFoundException: my/class 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Class.java:348) 
    at org.apache.spark.util.Utils$.classForName(Utils.scala:228) 
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:693) 
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:185) 
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:210) 
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:124) 
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 

Answer 1

これはそれを助けて...速いのgrepをスキャンし、ソースコードおよびIDEのコピーが表示されることをものの一つでありますfile：/およびlocal：/ URLsのみをサポートしていることを確認してください。

AFAIK --jarsと表示されているものは、スパーククラスター自体の内部に表示されているものはすべて取り出して作業そのもののCPに追加しますが、アプリケーションJARは常にローカルでなければなりません。