私は、いくつかのGoogle Pub/Subトピックからメッセージを取り除き、それらのメッセージに含まれる個々の要素を並列処理し、さらにそのコレクションを渡しますさまざまなリソースによる消費。それぞれのトピックに対していくつの個別要素が処理されたかを示すStackdriverダッシュボードをまとめたいと思います。各ParDoステップは、PCollectionを出力します。Stackdriver:特定のデータフローからのElementCount PCollection出力
私はElementCountを使用してダッシュボードを設定しましたが、ステップではなくジョブでフィルタリングすることができます。 ElementCountを使用して作成されたチャートの行をマウスオーバーすると、1ステップごとにカウントが表示されます。確かに、私は次のようにのgcloudコマンドラインユーティリティを使用することができるとして、これらのメトリックが報告されているように見えるん:
gcloud beta dataflow metrics list [jobid] --filter ElementCount
...
name:
context:
original_name: extract_value_topic_1/Map-out0-ElementCount
output_user_name: extract_value_topic_1/Map-out0
name: ElementCount
origin: dataflow/v1b3
scalar: 7000
updateTime: '2017-05-03T18:13:22.804Z'
---
name:
context:
original_name: extract_value_topic_2/Map-out0-ElementCount
output_user_name: extract_value_topic_2/Map-out0
name: ElementCount
origin: dataflow/v1b3
scalar: 12000
updateTime: '2017-05-03T18:13:22.804Z'
が、私はこれらのいくつかありますが、私はの簡単な方法が表示されませんそれに基づいてスタックドライバーチャートを作成します(ログベースのメトリックを生成するためにそれを使って処理されるすべての要素のコンソールへのロギングを除きますが、それは多数のレベルで非常に非効率的であるようです)。これらのElementCountsに基づいてチャートを作成するにはどうすればよいですか?
編集:さらに、Metrics Explorerを開くと、検索ボックスにdataflow/job/element_countを入力してから、フィルタボックスにpcollectionを入力できますが、このチャートを含むダッシュボードは作成できませんダッシュボード・チャート・ビルダーのフィルター選択では、pcollectionによるフィルター処理は許可されません。
これは報告機能の重要な部分ではありませんが、残念です。それは上層階をくすぐり、ロビーに置くことができるものです。その間、カスタムメトリックなどを使用して回避策を認識していますか? – Gideon
Stackdriver API:https://developers.google.com/apis-explorer/#p/monitoring/v3/では、ラベルをフィルタリングできます。したがって、ラベルとメトリック名を組み合わせて固有のメトリック名を生成するカスタムメトリックを定義できます。しかし、私はそれをお勧めするとは思わない。私はあなたの時間枠が何であるか分かりませんが、この感覚を得るために、この機能はあまりにも遠い将来にStackdriverで利用できるようになります。 – Andrea