Java sparkジョブを実行すると、sparkコンテキストの初期化中にエラーが発生し、その後にエラーが発生し、停止したsparkコンテキストのメソッドを呼び出せません。

Question

sparkクラスタ上でsparkプログラムを実行しているとき、停止したスパークコンテキスト。時には同じジョブを実行すると、エラーなく正常に実行されます。

これは必ずしも発生しません。時には仕事はうまくいくが、それ以外の時にはこれは上記のメッセージを与える。 ./stop-all.shと./start-all.shというコマンドを使ってsparkを再起動しようとしました。私はそれが成功したスパークを開始したログをチェックしようとしました。このときどきのエラーメッセージの問題は何か。それはディスクスペースやその他の理由に関連することができますか？

は

Answer 1

この問題は、ノードでいっぱいであることにより、ディスクスペースに発生しているようだ...ありがとうございました。私は今このエラーを取得していません。不必要なファイルをクリーンアップすると、問題が解決したようです。