spark submit client machine

私は自分のローカルシステムでEclipseのSpark Twitter感情分析コードを実行しています。サーバーのすべてのhadoopおよびsparkクラスタ設定。クラスタ設定が自分のローカルシステムではないローカルシステムで実行することは可能ですか？spark submit client machine

はいの場合はどうぞご案内ください。実行中に私は引数を与えていた

> --class com.dhruv.Predict \ 
> --master spark://<spark cluster ip>:7077 \ 
> --num-executors 2 \ 
> --executor-memory 512m \ 
> --executor-cores 2 \ target/twittersentiment-0.0.1-jar-with-dependencies.jar \ 
> hdfs://tmp/tweets/dataset.csv trainedModel \ 
> --consumerKey \ 
> --consumerSecret \ 
> --accessToken \ 
> --accessTokenSecret

しかし、それは動作しません。コメントで述べたように、私に

出典

2016-11-24 user2894607

'--master spark：//your.server：7077'？ –

私は自分の質問を編集しました。私は同じことをしましたが、それは働かないのです。 – user2894607

さらに2つ：最初にjarファイルをグローバルに表示する必要があります（例：同じディレクトリまたはhdfs内の各クラスタマシン上にある必要があります） –

を案内してください：それはHDFS

で、たとえばあなたのJARをコピーし、各マシン上の同じパスにまたは分散ファイルシステムにする必要がありますので

ファイルは、世界的に見えなければなりません各マシンまたはHDFSへ

出典

2016-11-24 12:10:10

spark submit client machine

答えて

関連する問題