CLIによって提出されたジョブのYARNのapplicationTagsプロパティを設定します

Question

YARNの関連アプリケーションをいくつか追跡したいと思います。コマンドラインを介して送信されます。

yarn jar hadoop-mapreduce-examples.jar pi 10 100 

Pythonは以下を返すことは本当にeasy-to-use YARN clientがあります

finalStatus = SUCCEEDED 
id = application_1458083392566_0929 
state = FINISHED 
name = QuasiMonteCarlo 
applicationType = MAPREDUCE 
user = awoolford 
applicationTags = 
[...etc...] 

私はapplicationTagsプロパティがあります注意してください。これは、関連するアプリケーションのグループを追跡する理想的な方法です。 HADOOP_CLIENT_OPTSで設定しようとしました。

HADOOP_CLIENT_OPTS="-DapplicationTags=batch123,chunk62" hadoop jar [...etc...] 

...しかし、私はPythonクライアントを経由してそれらを取得しようとしたときapplicationTags文字列がYARNに表示されませんでした。

Q）YARNジョブをサブミットし、applicationTagsプロパティをコマンドラインから入力するにはどうすればよいですか？

Answer 1

設定する必要があるプロパティは、mapreduce.job.tags（Jira参照）です。これを行う方法を考え出すためにClouderaのからNeerja Khattarに

yarn jar hadoop-mapreduce-examples.jar pi -Dmapreduce.job.tags=myJobTag 10 100 

クレジット：だから、計算パイのMapReduce例えば、あなたはこのような仕事をタグ付けしたいです。