apache-sparkからのピアメッセージによる接続リセットの修正方法？

Question

私は次の例外を非常に頻繁に受けています。なぜこれが起こっているのでしょうか？研究の後、私は.set("spark.submit.deployMode", "nio");を行うことができたが、それはどちらか動作しませんでしたし、私は私がこれを投げて動けなくするために使用される多くのthings.My仕事をしようとした場合でも、同じエラーが出た火花2.0.0

WARN TransportChannelHandler: Exception in connection from /172.31.3.245:46014 
    java.io.IOException: Connection reset by peer 
    at sun.nio.ch.FileDispatcherImpl.read0(Native Method) 
    at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39) 
    at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223) 
    at sun.nio.ch.IOUtil.read(IOUtil.java:192) 
    at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380) 
    at io.netty.buffer.PooledUnsafeDirectByteBuf.setBytes(PooledUnsafeDirectByteBuf.java:221) 
    at io.netty.buffer.AbstractByteBuf.writeBytes(AbstractByteBuf.java:898) 
    at io.netty.channel.socket.nio.NioSocketChannel.doReadBytes(NioSocketChannel.java:242) 
    at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:119) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:511) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382) 
    at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354) 
    at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:112) 

Answer 1

を使用しています非常に長い時間を過ごした後のエラー。私は解決するのを助けた周りの仕事をほとんど試していませんでした。しかし、私はまだ少なくとも私の仕事でうまく動作する同じエラーを取得します。

1. 実行者がマスターからの接続を失ったと考えている理由の1つになる可能性があります。私はspark-defaults.confファイルに以下の設定を追加しました。 は基本的に、私はネットワークのタイムアウトとハートビート間隔

2. 動けなくするために使用される特定のステップを増加している10000000 10000000 spark.executor.heartbeatIntervalが、私はちょうどであるデータフレームをキャッシュされたspark.network.timeout

（立ち往生するのに使用されるステップで）処理に使用注： - これらは、回避策です、私はまだエラーログに同じエラーが表示されますが、私の仕事は終了しません。