2016-03-21 8 views
1

:糸--deployモードクライアント--master 火花シェルをスパークシェル糸クライアントモードの私が使用してシェルをスパーク起動するとアッカAssociationError

を私は次のエラーを取得しています:

16/03/21 20:52:29 ERROR ErrorMonitor: AssociationError [akka.tcp://[email protected]:47915] -> [akka.tcp://[email protected]:48703]: Error [Association failed with [akka.tc 
p://[email protected]:48703]] [ 
akka.remote.EndpointAssociationException: Association failed with [akka.tcp://[email protected]:48703] 
Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: No route to host 
] 
akka.event.Logging$Error$NoCause$ 
16/03/21 20:52:29 ERROR ErrorMonitor: AssociationError [akka.tcp://[email protected]:47915] -> [akka.tcp://[email protected]:48703]: Error [Association failed with [akka.tc 
p://[email protected]:48703]] [ 
akka.remote.EndpointAssociationException: Association failed with [akka.tcp://[email protected]:48703] 
Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: No route to host 
] 
akka.event.Logging$Error$NoCause$ 
16/03/21 20:52:32 ERROR YarnScheduler: Lost executor 3 on hostname01: remote Rpc client disassociated 
16/03/21 20:52:32 INFO DAGScheduler: Executor lost: 3 (epoch 0) 
16/03/21 20:52:32 INFO BlockManagerMasterEndpoint: Trying to remove executor 3 from BlockManagerMaster. 
16/03/21 20:52:32 INFO BlockManagerMasterEndpoint: Removing block manager BlockManagerId(3, hostname01, 37497) 
16/03/21 20:52:32 INFO BlockManagerMaster: Removed 3 successfully in removeExecutor 
16/03/21 20:52:32 INFO ExecutorAllocationManager: Existing executor 3 has been removed (new total is 0) 

ファイアウォール& iptablesがオフになっています。クラスタ内のマシンは、すべてのポートで相互にping可能です。 しかし、なぜ私はまだ "akka.remote.transport.netty.NettyTransport $$ anonfun $ associate $ 1 $$ anon $ 2:ホストへのルートはありません"と困惑しています。

助けてください。

答えて

1

名前解決の問題がある可能性があります。この仮説を確認するために、名前ではなく設定内のIPアドレス(たとえば、slavesファイル)を使用するようにしてください。

+0

私は疑問に思っています。糸に火花がついているので、 'スレーブ 'ファイルは影響ありません – user1314742

1

以前は同じ問題が発生しました。私はあなたの問題を解決するにはSPARK_LOCAL_IPとSPARK_LOCAL_DNS

に関するいくつかのenvironement変数を誤って入力していることがわかった、あなたがする必要があります:すべてのノードマネージャのノードで

  • 、あなたが持っているの.bashrcと.bash_profileのファイルをチェック右の値にENV変数を設定します。クライアントマシンのIPに以前のENV変数の値を設定します(コマンドspark-shellを発行している)クライアントマシンでは、あなたのnodemanger(S)

  • を再起動し、SPARK_LOCAL_IPSPARK_PUBLIC_DNSとホステンナ私

関連する問題