グループIDを使用したSpark Streaming Direct Streamアプローチ

Question

私はSpark Streaming kafka統合ガイドをKafka 010バージョンに基づく最新のドキュメントページで読んでいました。私が見ることができるという点で、

http://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html#creating-a-direct-stream

カフカのparamsの一つは、私は、我々はDirectStreamのアプローチを使用する場合、パラメータの一つとしてgroup.idを渡すために持っていけないと思った"group.id" -> "example"

です。私はこのドキュメントを混乱させる。 group.idとSpark Streaming Direct Streamのアプローチの関係は何ですか？

Answer 1

group.idは、各カフカパーティションをグループ内の1つのノードに正確に割り当てることができるように、一連のコンシューマプロセスをグループにグループ化するために使用されるカフカコンシューマ構成です。

Kafka Consumer Configurationでは、カフカベースのオフセット管理（Spark Streamingは直接アプローチでは使用しません）を使用しない限り、このパラメータはオプションです。したがって、オプションのパラメータにする必要があります。

また、Spark Kafka Direct DStreamのソースコードを見ると、sparkはクライアントが設定しない他のKafkaパラメータを追加しません。従ってgroup.idは、指定されていなければ、デフォルトで空の文字列になります。

一般に、同じカフカトピックの複数のコンシューマ（スパークストリーミングジョブ、akkaアプリケーションなど）があり、そのすべてが同じになることを望まない場合は、コンシューマグループIDが必要ですグループ（あなたがグループidをそれらのすべてに渡さない場合は、それらのグループになります）。ですから、各消費者グループに独自のグループIDを付けるのがよい方法です。カフカ周辺の運用ツールを使用する場合は、適切な名前を付けておくと、各消費者グループについても表示されます。