Apache Beam：既に​​構築されたパイプラインのステップをスキップする

Question

すでに構築されたパイプラインのステップを条件付きでスキップする方法はありますか？または、どのステップを実行するかを制御する唯一の方法であるように設計されたパイプライン構造ですか？

Answer 1

通常、パイプライン構成は、パイプラインのどの変換が実行されるかを制御します。

しかし、入力PCollectionを出力PCollectionのいずれかに多重化する単一入力、複数出力のParDoが考えられます。次に、データを渡す出力を選択することによって、実行されるステップを動的に制御することができます。入力がないステップは実行されない可能性があります。

関連する機能は、「パラメータ化されたパイプライン」または「テンプレートパイプライン」です。これは我々が非常に関心を持ち、積極的に取り組んでいるものです。