異なるパイプラインのデータを使用する

Question

同等のpubsubトピックから消費する2つのパイプライン「gameEngineEvents」と「userEvents」があります。 userEventには、1つまたは複数のgameEngineEventが含まれている可能性があります。

gameEngineEventが発生したとき、そのgameEngineEventへの参照を持つuserEventがあるかどうかを確認し、ロジックを実行してから、新しいメッセージを3番目のpubsubトピックにパブリッシュします。

だから、データフローだけでこれを行うことは可能ですか？

Answer 1

これは確かに可能です。ここで使用したいのは、CoGroupByKeyです。 "gameEngineEvent"を特定のキーでシャッフルし、そのキーを使って "userEvent"と同じマシンにシャッフルし、一緒に処理して特定のロジックを実行します。処理に使用できるキーの2つのイテラブルで終わります。

CoGroupByKeyの詳細については、hereをご覧ください。

これらはPubSubのトピックであり、無制限のソースに対処している可能性がありますので、処理を実行する予定の罫線を設定するには、Windowingを参照してください。