複数の同一のカフカストリームのトピックをマージする

Question

2つのカフカトピックが異なるソースから正確に同じコンテンツをストリーミングするので、ソースのいずれかが失敗した場合に高い可用性を得ることができます。 Kafka Streams 0.10.1.0を使用して、2つのトピックを1つの出力トピックにマージしようとしています。そのため、すべてのソースが上がっても重大なエラーメッセージは表示されません。

KStreamのleftJoinメソッドを使用すると、トピックの1つが問題なく表示されます（セカンダリトピック）が、プライマリトピックがダウンすると、出力トピックに何も送信されません。これは

KStream-KStream leftJoinは常にプライマリストリームから到着したレコードによって駆動され、Kafka Streams developer guideによると、理由のようです

ので

主流からレコードがない場合は、それをセカンダリストリームのレコードは存在しても使用されません。一次ストリームがオンラインに戻ると、出力は正常に再開します。

私も重複を取り除くためにKTableとgroupByKeyへの変換が続く（重複レコードが追加されている） outerJoinを使用して試してみた

、

KStream mergedStream = stream1.outerJoin(stream2, 
    (streamVal1, streamVal2) -> (streamVal1 == null) ? streamVal2 : streamVal1, 
    JoinWindows.of(2000L)) 

mergedStream.groupByKey() 
      .reduce((value1, value2) -> value1, TimeWindows.of(2000L), stateStore)) 
      .toStream((key,value) -> value) 
      .to(outputStream) 

が、私はまだたまに重複を取得します。私はまたcommit.interval.ms=200を使用して、KTableが出力ストリームに十分頻繁に送信されるようにします。

複数の同一の入力トピックから正確に一度の出力を得るために、このマージに最も近い方法は何でしょうか？

Answer 1

いずれの種類の結合を使用しても問題は解決しません。一部のストリームがストールした場合は内部結合、またはnull（左結合または外部結合両方のストリームがオンラインの場合）。 Kafkaストリームの結合セマンティクスの詳細については、https://cwiki.apache.org/confluence/display/KAFKA/Kafka+Streams+Join+Semanticsを参照してください。

したがって、私はあなたがprocess()、transform()、またはtransformValues()KStreamを使用してDSLと-とマッチを混在させることができ、プロセッサのAPIを使用することをお勧めします。詳細は、How to filter keys and value with a Processor using Kafka Stream DSLを参照してください。

また、プロセッサにカスタムストアを追加して（How to add a custom StateStore to the Kafka Streams DSL processor?）、重複フィルタ処理のフォールトトレラントを作成することもできます。