Oozieジョブスケジューリングによるタイムアウトエラー

最初のジョブのような依存ジョブがあるため、Oozieを介してSparkジョブを実行しているときに問題が発生しました。Oozieジョブスケジューリングによるタイムアウトエラー

oozie-SshアクションによってOozieでスケジュールされた5つの相互依存ジョブがあります。これは、SparkContextが作成されず、最終データがHiveにロードされなかったためです。

私はエラーをペーストします知っている私の説明が意味

スパークアクションの代わりにsshアクションを使用する特別な理由はありますか？ – LiMuBei

@LiMuBeiはい、ハイブテーブルにロードするために出力ファイルを使用していますが、 –

を行っていない場合、これはメモリの問題があるとき、あなたはエグゼキュータとどのように多くの執行あたりのメモリを指定する必要が非常に一般的です。クラスタの制限を計算し、その変数を設定します。

spark-submit --master yarn-cluster --executor-memory 1g --num-executors 3

2016-08-23 12:22:32 MrElefant

答えて