スパークストリーミングは複数のトピックを処理する方法

Question

スパークは1つのDstreamで複数のカフカのトピックを処理しますか？

である。

2.同時に（エグゼキュータごとにトピックパーティション）。

Answer 1

DirectStreamメソッドでは、スパークプロセスのカフカデータを並列に処理します。すなわち、各エグゼキュータコアは、対応するカフカトピックおよびパーティションからデータを引き出す。

それぞれに3つのパーティションを持つ2つのトピックがあるとします。そして、2つのコアを持つそれぞれ3人のエグゼクティブがいます。

これらの2つのトピックから読んでいる場合、sparkは6つのタスク（= 6つのコア）で1つのジョブを起動し、各タスクは対応するトピック+パーティションからデータを取得します。これらのタスクはすべて並行して実行されます。

希望すると便利です。