スパークユニットテストがステージの失敗により失敗する

Question

最近、アプリケーション（SpalaTest 3.0）のユニットテストが突然失敗するSpark 1.4.1から1.6.0にアプリケーションをアップグレードしました。これはAPIや動作の変更によるものではありませんスパーク。

奇妙なことは、私はsbt testでテストを実行するたびに異なるテストは、常に次のメッセージで失敗していることである：

[info] org.apache.spark.SparkException: Job aborted due to stage failure: Task 87 in stage 206.0 failed 1 times, most recent failure: Lost task 87.0 in stage 206.0 (TID 4228, localhost): ExecutorLostFailure (executor driver exited caused by one of the running 
tasks) Reason: Executor heartbeat timed out after 148400 ms 
[info] Driver stacktrace: 
[info] at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1431) 
[info] at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1419) 
[info] at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1418) 
[info] at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59) 
[info] at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47) 
[info] at org.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:1418) 
[info] at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:799) 
[info] at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:799) 
[info] at scala.Option.foreach(Option.scala:236) 
[info] at org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:799) 
[info] ... 

私はbuild.sbtに次のように設定しています

javaOptions in test += "-Xmx2G" 
fork in test := true 
parallelExecution in test := false 

ユニットテストはうまくいきますが、私は指を置くことができないということがあります。誰にもアイデアはありますか？

Answer 1

このコードが動作しているので、アップグレードでデフォルトのメモリ設定（エグゼキュータまたはドライバまたはオーバーヘッドのいずれか）が変更されている可能性があります。

お客様のアプリケーションIDのヤーンログを送信してください。エラーの詳細が表示されます。

また、テストは私のマシン上でローカルに実行するので何のYARNログはありません同様のエラーのためにhttps://community.cloudera.com/t5/Advanced-Analytics-Apache-Spark/Executor-Timed-Out/td-p/45097