2016-07-11 14 views
0

--masterパラメータまたはspark.masterパラメータを指定せずに、bin/spark-submit --class DataSet BasicSparkJob-assembly-1.0.jarのように私のスパークジョブを送信しました。その仕事の代わりに私の3ノードスパーククラスターに提出されます。しかし、私はそれが何の情報も表示していないので、仕事を提出したのだろうかと思っていたRunning Applications実行中のスパークジョブがUIに表示されない

答えて

1

マスターをでもspark.masterでも設定しない場合、Sparkはローカルで実行されます。

ジョブの進捗状況は引き続き確認できます。デフォルトでは、http://localhost:4040にスパークジョブの実行中にUIが使用可能になります。

あなたの仕事が終了すると、このUIが殺されると、[OK]をスパーク履歴サーバ

+0

処理のためにメモリとコアのspark-default.confに記述されているのと同じ設定を使用していますか? – Naresh

+0

sparヒストリサーバを意味する場合は、 'spark-defaults.conf'を設定ファイルとして使用しますが、ヒストリサーバ自体はSparkプロセスではないため、ドライバ/エグゼキュータを持つSparkとして起動しません – user1314742

1

あなたの開発マシンであなたのローカルモードで実行されている可能性があります。

+0

を設定しない限り、あなたのアプリケーションの履歴を表示することができませんでした、私はこの実行中のアプリケーションのログを見ることができる方法はありますそれで? – Naresh

+0

'localhost:4040'を使用してWeb-UIにアクセスできます。 – Dikei

関連する問題