mrv2

1熱

1答えて

documnetation（http://hadoop.apache.org/common/docs/r0.20.203.0/hdfs_user_guide.html）に従って、hadoop0.20.203.0リリース以降のsecondarynamenodeは廃止され、 checkpointnodeおよびbackupnode。しかし、クラスターのセットアップdoc（http://hadoop.ap

0熱

1答えて

YARN：ジョブの並行性の制御

私は、任意の時点でジョブの数を制御することによって競合を制御するためにYARNsリソースキューを使用しようとしていました（MRジョブのみ、他のYARNアプリケーションはありません）。私が持っている状況は - 私はユーザーからの要求を受け取り、（MRジョブとして）いくつかのレポートを実行するサービスを持っています。これらのジョブは時には時間がかかり、ピーク時にこれらのジョブがリソースを求めて競合し、

0熱

1答えて

YARN MRv2 JobClient相当

MRv2に相当するJobClient（Java、MRv1）が見つかりません。私は実行中のジョブのMRジョブの状態、カウンタなどを読み込もうとしています。私はリソースマネージャーから情報を取得しなければならないと思います（ジョブが終了する前に履歴サーバーに情報がないため、ジョブが実行中にカウンタを読み取る必要があるため）。私が紛失しているクライアントがmapreduce apiにありますか？

4熱

2答えて

新しいMapReduceのアーキテクチャとEclipse

MapReduceを中心としたHadoopの主要な再要因が発生しています。 JIRAの詳細は以下のJIRAにあります。 https://issues.apache.org/jira/browse/MAPREDUCE-279 それはのResourceManager、ノードマネージャとHistoryServerのデーモンがあります。誰もがEclipseでそれらを実行しようとしましたか？これにより、開発