Dataflowパイプラインは、GroupByを実行する前にすべてのストリームから要素を待ちます。

Question

複数の入力ストリームを処理するDataflowジョブを実行しています。それらの中にはトラフィックが多いものもあれば、メッセージを受け取ったものはほとんどありません。すべてのストリームに、すべての要素に関連する情報を含む「共有」ストリームに参加しています。これは、パイプラインの単純化した例です。

私は両方ストリームが一部のトラフィックが含まれてまでジョブは、任意の出力を生成しないことに気づきました。

たとえば、は一定期間メッセージを生成しませんが、Stream 1はトラフィックの流れが安定しているとします。この時点では、ジョブのDAGは、GroupByKeyのステップで累積されている要素を表示しますが、それを超えて何も伝搬されません。また、グラフの左側の入力要素を表示するFlatten PCollectionのステップが表示されますが、右側のグラフは表示されません。これは、高い仕事量のトラフィックを扱うときに、Stream 2がメッセージを受け取るのにかかる時間だけ出力を遅らせるため、同じ仕事でトラフィック量の少ないストリームとを処理するときに問題を引き起こします。

私は、観察が正しいかどうかわかりませんが、Flatten/GroupByKeyが一般的にどのように機能しているか尋ねたかったのですが、もしそうならば、私たちが見ている問題を避けることができます。パイプライン。

（例ジョブID：2017-02-10_06_48_01-14191266875301315728）

Answer 1

group-by-keyの文書で説明したように、デフォルトの動作では、到着したために、ウィンドウ内のすべてのデータを待つことである - これは正確さを保証する必要がありますダウンストリームの結果が表示されます。

何をしようとしているかに応じて、triggersを使用して集計を先に出力することができます。

ファストストリームの処理には、スローストリームをside-inputとして使用することもできます。

まだ詰まっている場合は、より詳細な回答が目標に依存するため、ストリームの内容と使用方法をより詳細に記述することができれば助かります。