MapReduceジョブがAccepted状態でスタックする

Question

実行しようとしている独自のMapReduceコードがありますが、Accepted状態のままです。以前に実行して成功した別のサンプルMRジョブを実行しようとしました。しかし、現在、両方のジョブはAccepted状態のままです。私はhereとhereのように、mapred-site.xmlとyarn-site.xmlのさまざまなプロパティを変更しようとしましたが、どちらも役に立たなかった。誰かが間違っている可能性があることを指摘できますか？私はここにmapred-site.xmlで値 - の一組の糸サイトで

<property> 
<name>mapreduce.job.tracker</name> 
<value>localhost:54311</value> 
</property> 

<property> 
<name>mapreduce.job.tracker.reserved.physicalmemory.mb</name> 
<value></value> 
</property> 

<property> 
<name>mapreduce.map.memory.mb</name> 
<value>256</value> 
</property> 

<property> 
<name>mapreduce.reduce.memory.mb</name> 
<value>256</value> 
</property> 


<property> 
<name>yarn.app.mapreduce.am.resource.mb</name> 
<value>400</value> 
<source>mapred-site.xml</source> 
</property> 

があり、様々な性質のために多くの値を試してみたのHadoop-2.2.0に

を使用しています。 xml

<property> 
<name>yarn.nodemanager.resource.memory-mb</name> 
<value>400</value> 
<source>yarn-site.xml</source> 
</property> 
<property> 
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name> 
<value>.3</value> 
</property> 

Answer 1

私は同じ効果があったため、システムにワーカーノードごとに使用可能なメモリが増え、アプリケーションに必要なメモリが削減されています。

私の糸-site.xmlの中、私は（私の非常に小さな実験箱に）持っている設定：

<property> 
    <name>yarn.nodemanager.resource.memory-mb</name> 
    <value>2200</value> 
    <description>Amount of physical memory, in MB, that can be allocated for containers.</description> 
</property> 

<property> 
    <name>yarn.scheduler.minimum-allocation-mb</name> 
    <value>500</value> 
</property> 

Answer 2

ブログをフォローする - これはのためのパラメータを設定する方法について詳しく説明しhttp://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/

YARNコンテナ

Answer 3

同じ問題がありましたが、私にとってはそれが問題だった完全なハードドライブ（90％以上）でした。清掃スペースが私を助けました。

Answer 4

ジョブがYAHNのacceptedの状態になっているのは、通常、空きリソースが足りないためです。あなたはhttp://resourcemanager:port/cluster/schedulerでそれを確認することができます。

1. Memory Used + Memory Reserved >= Memory Total場合、VCores Used + VCores Reserved >= VCores Total場合メモリは
2. 十分ではありません、VCoresは、それはまた、このようなmaxAMShareなどのパラメータによって制限されることが

十分ではありません。

Answer 5

私は同じ問題に直面しました。そして私は上記の答えに記載されているすべての設定を変更しましたが、まだそれは役に立たなかった。その後、私のクラスタの健全性を再確認しました。そこで、私の唯一のノードが不健康な状態にあることがわかりました。この問題は、/ tmp/hadoop-hadoopUser/nm-local-dirディレクトリにディスクスペースがないことが原因でした。同じことが、ポート8032のリソースマネージャのWeb UIでノードの健全性の状態をチェックすることで確認できます。これを解決するために、以下のプロパティをyarn-site.xmlに追加しました。

<property> 
    <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name> 
    <value>98.5</value> 
</property> 

私のHadoopデーモンを再起動した後、ノードの状態が健康で仕事に変わってしまったが