私はスパークジョブをローカルモードで実行するようにコーディングしましたが、私がそのジョブをサブミットするとき、私はそれを糸クラスターモードで実行します。この場合、どういうことが起こりますか？

Question

ステータスが「受諾済み」であることがわかりました。 RUNNING状態には変わりません。タイムアウト後、失敗します。私はまったく同じイメージを付けました。仕事の中で私はカッサンドラのテーブルにいくつかのデータを保存しています。ジョブは実行状態にはなりませんが、ジョブがタイムアウトしなくなるまでテーブルは更新されています。私はフードの下で正確に何が起こっているのか理解できません。

Answer 1

は多分あなたのデフォルトの設定は、糸のクラスタ上でアプリケーションを実行しますローカル

spark-submit --master local[2] application 

としてマスターを使用してアプリケーションを実行してみてください。糸クラスターは初期化されていないため、NullpointExceptionが発生しています。