突然、私のYARNクラスタが動作を停止しました。私が提出したすべてのものが「終了コード1」で失敗します。私はその問題を追跡したいが、アプリケーションが失敗するとすぐに、YARNはログファイルを削除する。これらのログファイルを保持するためにYARNに調整する必要のある設定の設定は何ですか?YARNのログファイルを保存するには?
答えて
それはあなたのコンテナが終了コードで終了しているようだ1
デフォルトでは、ログの集約が無効になっているので、あなたは、UI上のログを見ることができません。次のパラメータは、ログ集約を決定します。 "yarn.log-aggregation-enable"(ログ集約が無効の場合は "false"に設定されます)。
これは「偽」に設定されている場合は、すべてのノードマネージャは、以下の構成パラメータによって決定されるローカルディレクトリ内のコンテナログ、保存: 「yarn.nodemanager.log-DIRSを」。
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>e:\hdpdata\hadoop\logs</value>
</property>
ので、特定のアプリケーションのためのすべての私のコンテナのログが、フォルダに格納されています「E:私の場合には、これがに設定されている\ hdpdataのHadoop \ログ\ \ {アプリケーションID} \ {アプリケーションマスターが実行されていたノードマネージャーマシンで、「container-id}」と入力します。
私のアプリケーション「application_1443377528298_0010」が失敗したとしましょう。 YARNRMのUI(configパラメータ:yarn.resourcemanager.webapp.addressによって決定)では、アプリケーションマネージャが実行されたノードに関する情報を取得できます。以下の図では、アプリケーションマネージャがマシン "120243"で実行されました。
あなたはこのマシンにログインし、フォルダ内を検索した場合、「E:\ hdpdata \ Hadoopの\ログ\ application_1443377528298_0010 \」、あなたは、アプリケーションのすべてのコンテナのログを見ることができる「application_1443377528298_0010」。
YARN RM Web UIでログを表示する場合は、ログ集計を有効にする必要があります。そのためには、糸-site.xmlの中で、次のパラメータを設定する必要があります。
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/app-logs</value>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir-suffix</name>
<value>logs</value>
</property>
上記の設定では、私のログは、「/アプリ-ログ/ {ユーザー名} /ログ/」でHDFSに集約されています。このフォルダの下には、これまでに実行されたすべてのアプリケーションのログがあります。ここでも、ログの保持は、構成パラメータ "yarn.log-aggregation.retain-seconds"(集約ログを保持する期間)によって決まります。
MapReduceアプリケーションが実行されているときは、YARNのWeb UIからログにアクセスできます。アプリケーションが完了すると、ログはJob History Serverを介して提供されます。
Web UIのログを表示するには、アプリケーションが終了した後、MapReduce Job Historyサーバーの実行も開始する必要があります。これを有効にするには、mapred-site.xmlで次の設定パラメータを設定します。
<property>
<name>mapreduce.jobhistory.address</name>
<value>{job-history-hostname}:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>{job-history-hostname}:19888</value>
</property>
そして、糸のサイトで次の設定パラメータを設定します。xml:
<property>
<name>yarn.log.server.url</name>
<value>http://{job-history-hostname}:19888/jobhistory/logs</value>
</property>
私はHDPインストールからの設定をWindowsに複製しています。これらの設定は私の仕事です。これらもあなたのために働くはずです。
https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
:以下、上述の各構成の説明については 、参照リンク- 1. ログファイルにデータを保存します
- 2. ヘロクのDjangoにログファイルを保存するには
- 3. BTEQ:ログファイルにTeradataエラーを保存します。
- 4. Essential.Diagnosticsでログファイルを保存する相対パス
- 5. 宝石店はどこにログファイルを保存すべきですか?
- 6. YARNとHadoopの
- 7. Log4J DailyRollingFileAppenderで既存のログファイルのアクセス許可を保持する方法
- 8. 既存のMapReduceとYARN(MRv2)の相違点
- 9. クライアントモードでYARNを使ってspark-shellを実行するには?
- 10. jspフォームデータからレコードを保存するコントローラクラスのデータを保存するには
- 11. Yarn、HadoopでSpark scalaジョブを送信するには
- 12. WordPressのチェックボックスメタボックスを保存するには?
- 13. rsyncは完全で不完全なデータ転送のログファイルをどこに保存しますか?
- 14. apache chainsawで既存のログファイルを開く
- 15. マルチセレクトボックスをPHPに保存するには?
- 16. レコードをWindowsPhoneに保存するには
- 17. エミュレータにファイルを保存するには?
- 18. インスタンスをエディットテキストに保存するには?
- 19. データベースにメニューを保存するには?
- 20. NSUserDefaultにCCSpriteを保存するには
- 21. Rにdata.frameを保存するには?
- 22. キーチェーンにCFUUIDを保存するには
- 23. ファイルをjavaに保存するには?
- 24. ファイルをアプリケーションバンドルに保存するには
- 25. ブロブをDrupalに保存するには?
- 26. ハッシュをCSVに保存するには
- 27. イメージファイルをDjangoに保存するには?
- 28. HashTableをusersettingsに保存するには?
- 29. iPhoneにデータを保存するには?
- 30. JSiteをSQLiteに保存するには