2012-04-19 14 views
1

私はブタのクエリをプロファイルしようとしていますが、これまでのところ有用なものはありませんでした。ブタのプロファイリング

CPU、ディスクI/O、RAMの使用量を測定しようとしています。

誰もが私にこれを案内できますか?

物事は、これまで

ヒトデを試してみました - 豚 でのHadoopジョブに動作しますが、NOT - 豚のクエリ

HPROFをサポートしていません - Hadoopのジョブではなく、豚のクエリで動作します。 - Hadoopジョブ専用のプロファイルファイルを生成します

Hadoopジョブとpigジョブは同じクラスタで実行されます。

読んでいただきありがとうございます!

答えて

1

JXInsight/Opus(無料)を使用し、クエリーを実行してからジョブの完了後にスナップショットをとる前に、クラスタをマーキングまたはタグ付けして、レイテンシデータを取得できます。

http://www.jinspired.com/site/jxinsight-opus-1-0

我々はカサンドラ、Hadoopの、豚、など、さまざまなビッグデータ・プラットフォームのためのXエディションのためにJXInsight /オーパスで出てくることでしょう....

あなたはより多くの電力とより多くメートルを(必要な場合cpu、io、...)では、常にJXInsight/OpenCore製品を見ることができます。

+0

ウィリアム - これを共有してくれてありがとうございます。これは仕事をするように見えます。私は今日それを試し、あなたに結果を知らせるでしょう。再びありがとう! – athap

+0

ウィリアム、あなたのウェブサイトはダウンロードリンクを持っていません:/あなたの製品を試してみたいが、ダウンロードできないのは少し問題です;) –

1

ブタによって生成されたMRジョブで、hprofまたは他のプロファイリングツールを使用できます。 https://cwiki.apache.org/confluence/display/PIG/HowToProfile

+0

ありがとうございます。以前私はHprofを試しましたが、hadoopジョブのみのプロファイルファイルを生成し、ブタのクエリは生成しません。あなたが提供するリンクには、他にも興味深いオプションがあります。私はそれを試し、結果をあなたに知らせます。 – athap

+0

ありがとうuser617093。これは私のために働いた。私はここのポイントシステムのためにこの答えを投票することができません。しかし、これは私のために働く。再度、感謝します !! – athap

関連する問題