DSE 4.8 SparkクラスタでPythonジョブを実行する際のエラー。

DSEクラスタ4.8でSpark（pyspark）を実行すると奇妙な問題が発生しました。ジョブが実行されている何らかの理由で、私は以下のように数十のエラーが発生します。誰もこのエラーをどうにかする方法を知っていますか？DSE 4.8 SparkクラスタでPythonジョブを実行する際のエラー。

私はdse spark-submitコマンドを使用しています。

ERROR 2016-04-04 12:49:21,305 org.apache.spark.scheduler.cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor 747 
ERROR 2016-04-04 12:49:21,305 org.apache.spark.scheduler.cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor 748 
ERROR 2016-04-04 12:49:21,347 org.apache.spark.scheduler.cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor 749 
ERROR 2016-04-04 12:49:21,388 org.apache.spark.scheduler.cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor 750

出典

2016-04-04 jguerra

これはメモリの問題のようです。基本的に、エグゼキュータがメモリを使い果たすと、エラーがポップアップし始めます。 – jguerra

私は明らかに火花がそれを殺すことができないexecutorが異なる理由でクラッシュした意味し、「非存在executorを削除するために尋ねた、」このメッセージを参照してください。エグゼキュータログを調べて、クラッシュした原因を調べます。

ネットワークに問題があり、ドライバとエグゼキュータが通信できない可能性もあります。この場合もこのメッセージを見ました。

出典

2016-04-04 17:13:03 phact

これらの多くのエラーが表示されます：＃Java Runtime Environmentが続行するためのメモリが不足しています。＃ネイティブメモリ割り当て（mmap）が、予約済みメモリをコミットするための3579314176バイトのマッピングに失敗しました。＃詳細情報を含むエラーレポートファイルは、＃/cassandra/data/spark/worker/worker-0/app-20160404163740-0012/725/hs_err_pid3930.logとして保存されます。セットアップの手がかりpsに感謝します。ありがとう – jguerra

これは、Java HotSpot（TM）64ビット・サーバーのVM警告：INFO：os :: commit_memory（0x0000000680000000,3579314176,0）のstderrの出力です。 error = 'メモリを割り当てることができません'（errno = 12） – jguerra

DSE 4.8 SparkクラスタでPythonジョブを実行する際のエラー。

答えて

関連する問題