yarn.scheduler memoryを更新しました

Question

ここでNoobの総数、aws ec2のシングルノードにCloudera Managerをインストールしました。誰かが起こっているか、どこ読んで開始するものを私に説明でき

ERROR spark.SparkContext: Error initializing SparkContext. 
java.lang.IllegalArgumentException: Required executor memory (1024+384  
MB) is above the max threshold (1024 MB) of this cluster! Please check 
the values of 'yarn.scheduler.maximum-allocation-mb' and/or 
'yarn.nodemanager.resource.memory-mb'. 

：私は、インストールウィザードに従ったが、私は

火花シェルまたはpysparkを実行してみたとき、私は、次のエラーメッセージが表示されますか？ここではすべてのヘルプや方向性が高く評価されています。

Answer 1

必要な実行メモリが最大しきい値を超えています。 YARNメモリを増やす必要があります。

yarn.scheduler.maximum-allocation-mbとyarn.nodemanager.resource.memory-mbの値は両方とも、あなたのケースでCloudera Managerによって管理されている設定ファイルyarn-site.xmlに保存されています。

yarn.nodemanager.resource.memory-mbは、コンテナに割り当てることができる物理メモリの量（MB単位）です。

yarn.scheduler.maximum-allocation-mbは、糸コンテナごとに割り当てられる最大メモリ（mb）です。 RMでのコンテナ要求ごとの最大割り当て量（MB単位）。これより高いメモリ要求は有効にならず、この値に上限が設定されます。

あなたはここに定義し、デフォルト値の詳細を読むことができます：糸サービスに行く>設定>検索し、それらの値を増加させ、ClouderaのManagerのユーザーインターフェイスではhttps://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

1. 。

2. 変更を有効にするためにYARNを再起動します。