スパークジョブが失敗します。storage.DiskBlockObjectWriter：キャッチされない例外を

を提出するために、部分的な書き込みを元に戻すながら、私は、次のエグゼキュータのログエントリで失敗糸、上で実行されている、スパーク（1.4.1）アプリケーションを持っている：スパークジョブが失敗します。storage.DiskBlockObjectWriter：キャッチされない例外を

16/07/21 23:09:08 ERROR executor.CoarseGrainedExecutorBackend: Driver 9.4.136.20:55995 disassociated! Shutting down. 
16/07/21 23:09:08 ERROR storage.DiskBlockObjectWriter: Uncaught exception while reverting partial writes to file /dfs1/hadoop/yarn/local/usercache/mitchus/appcache/application_1465987751317_1172/blockmgr-f367f43b-f4c8-4faf-a829-530da30fb040/1c/temp_shuffle_581adb36-1561-4db8-a556-c4ac0e6400ed 
java.io.FileNotFoundException: /dfs1/hadoop/yarn/local/usercache/mitchus/appcache/application_1465987751317_1172/blockmgr-f367f43b-f4c8-4faf-a829-530da30fb040/1c/temp_shuffle_581adb36-1561-4db8-a556-c4ac0e6400ed (No such file or directory) 
    at java.io.FileOutputStream.open0(Native Method) 
    at java.io.FileOutputStream.open(FileOutputStream.java:270) 
    at java.io.FileOutputStream.<init>(FileOutputStream.java:213) 
    at org.apache.spark.storage.DiskBlockObjectWriter.revertPartialWritesAndClose(BlockObjectWriter.scala:189) 
    at org.apache.spark.util.collection.ExternalSorter.spillToMergeableFile(ExternalSorter.scala:328) 
    at org.apache.spark.util.collection.ExternalSorter.spill(ExternalSorter.scala:257) 
    at org.apache.spark.util.collection.ExternalSorter.spill(ExternalSorter.scala:95) 
    at org.apache.spark.util.collection.Spillable$class.maybeSpill(Spillable.scala:83) 
    at org.apache.spark.util.collection.ExternalSorter.maybeSpill(ExternalSorter.scala:95) 
    at org.apache.spark.util.collection.ExternalSorter.maybeSpillCollection(ExternalSorter.scala:240) 
    at org.apache.spark.util.collection.ExternalSorter.insertAll(ExternalSorter.scala:220) 
    at org.apache.spark.shuffle.sort.SortShuffleWriter.write(SortShuffleWriter.scala:62) 
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:70) 
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:41) 
    at org.apache.spark.scheduler.Task.run(Task.scala:70) 
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
    at java.lang.Thread.run(Thread.java:745)

何が間違っているかもしれないかについての手がかりは？

出典

2016-07-22 mitchus

マインドを1.6.2（またはすぐに2.0）にアップグレードしますか？あなたのケースに似ていると報告されたいくつかの問題があり、最近のリリースで修正されました。 –

@JacekLaskowski私はそれを望んでいますが、それは私のものではありません。 – mitchus

SparkRの下で、Spark 2.0を使用して、今日も同様のメッセージを受け取りました。私のセッションを再開するとエラーが解消されたように見えました。おそらくOPには役立ちませんが、ちょうどsayin 'です。私のために – russellpierce

spark.yarn.executor.memoryOverheadを改善することができます。

出典

2016-08-15 09:24:45 huron

私はすでにこれを試してきましたが、数GBに増やしました。このエラーは成功しませんでした。 – mitchus

私も同様の問題がありました。この設定を384MBから4GBに増やしましたが、同じエラーが発生しています。 –

スパークジョブが失敗します。storage.DiskBlockObjectWriter：キャッチされない例外を

答えて

関連する問題