2017-05-03 26 views
0

私は、いくつかのGoogle Pub/Subトピックからメッセージを取り除き、それらのメッセージに含まれる個々の要素を並列処理し、さらにそのコレクションを渡しますさまざまなリソースによる消費。それぞれのトピックに対していくつの個別要素が処理されたかを示すStackdriverダッシュボードをまとめたいと思います。各ParDoステップは、PCollectionを出力します。Stackdriver:特定のデータフローからのElementCount PCollection出力

私はElementCountを使用してダッシュボードを設定しましたが、ステップではなくジョブでフィルタリングすることができます。 ElementCountを使用して作成されたチャートの行をマウスオーバーすると、1ステップごとにカウントが表示されます。確かに、私は次のようにのgcloudコマンドラインユーティリティを使用することができるとして、これらのメトリックが報告されているように見えるん:

gcloud beta dataflow metrics list [jobid] --filter ElementCount 

... 
name: 
    context: 
    original_name: extract_value_topic_1/Map-out0-ElementCount 
    output_user_name: extract_value_topic_1/Map-out0 
    name: ElementCount 
    origin: dataflow/v1b3 
scalar: 7000 
updateTime: '2017-05-03T18:13:22.804Z' 
--- 
name: 
    context: 
    original_name: extract_value_topic_2/Map-out0-ElementCount 
    output_user_name: extract_value_topic_2/Map-out0 
    name: ElementCount 
    origin: dataflow/v1b3 
scalar: 12000 
updateTime: '2017-05-03T18:13:22.804Z' 

が、私はこれらのいくつかありますが、私はの簡単な方法が表示されませんそれに基づいてスタックドライバーチャートを作成します(ログベースのメトリックを生成するためにそれを使って処理されるすべての要素のコンソールへのロギングを除きますが、それは多数のレベルで非常に非効率的であるようです)。これらのElementCountsに基づいてチャートを作成するにはどうすればよいですか?

編集:さらに、Metrics Explorerを開くと、検索ボックスにdataflow/job/element_countを入力してから、フィルタボックスにpcollectionを入力できますが、このチャートを含むダッシュボードは作成できませんダッシュボード・チャート・ビルダーのフィルター選択では、pcollectionによるフィルター処理は許可されません。

答えて

0

残念ながら、現在、メトリックラベルのフィルタを使用してダッシュボードを作成することはできません。ご存知のように、新しい(ベータ版)メトリックエクスプローラはフィルタリング機能を備えており、Stackdriverチームはその機能をダッシュ​​ボードチャートにも提供するよう積極的に取り組んでいます。 Stackdriverチームから更なるアップデートや詳細を受け取ったら、フォローアップを行います。 - アンドレア

+0

これは報告機能の重要な部分ではありませんが、残念です。それは上層階をくすぐり、ロビーに置くことができるものです。その間、カスタムメトリックなどを使用して回避策を認識していますか? – Gideon

+0

Stackdriver API:https://developers.google.com/apis-explorer/#p/monitoring/v3/では、ラベルをフィルタリングできます。したがって、ラベルとメトリック名を組み合わせて固有のメトリック名を生成するカスタムメトリックを定義できます。しかし、私はそれをお勧めするとは思わない。私はあなたの時間枠が何であるか分かりませんが、この感覚を得るために、この機能はあまりにも遠い将来にStackdriverで利用できるようになります。 – Andrea

関連する問題