6
this blogpostを再現できるかどうか確認するためにアプリケーションのプロファイルを作成しようとしています。コマンドラインに-D mapred.task.profile = trueを追加し、実行したジョブ構成をチェックインしました。Hadoopプロファイルの出力 - どこに何がありますか？
Hadoop: The Definitive Guideは、プロファイル情報がUnixディレクトリに表示されると私はジョブを実行しました。私が開始したディレクトリには、正しいジョブIDですが、マッパー＃2（マッパーが1つしかなく、失敗しなかった）がなかったファイルtry_201305011806_0042_m_000002_0.profileがあります。出力には、プロファイルファイル内のヘッダー情報のみがあります。実際のプロファイリング情報はありません。
出力はユーザーログディレクトリにありますが、何も見つかりません。マッパーのタスクログに入ると、 "profile.out logs"の下に正当な情報を持つプロファイリング情報があります。私のHDFS出力ディレクトリにはプロファイリング情報が全くありません。プロファイリング出力はどこかHDFSにあるべきですか？
また、ログにはテキストベースの出力しか表示されませんが、プロファイルを視覚化するために見つけたすべてのツールは、バイナリhprof形式を前提としています。どのように私はバイナリプロファイルを取得するか、テキストベースのプロファイルをhprofツールにロードするためのアイデアはありますか？私はスペースが
-D mapred.task.profile=true
であります気づい
で上書きされていないかどうかをチェックしますが、これを解決しましたか？ – AST
私はそれを把握する前に、他の理由でHadoopクラスタをシャットダウンする必要はありませんでした。私は質問を閉じるだろうが、それは他の人にとっては有用かもしれない。 – Keith
情報をありがとう、ありがとう。 – AST