カフカクラスター - プロデューサー

Question

カフカについていくつか質問があります。もし誰かが私に助けてくれたら、私はとても感謝しています。

は、事前にありがとう:)

Q1を）私はパーティションはカフカブローカー間で分割されていることを知っています。しかし、分割は何に基づいていますか？たとえば、3つのブローカと6つのパーティションがある場合、各ブローカに2つのパーティションがあることを確認する方法はありますか？この分割は現在カフカでどのように行われていますか？

Q2）プロデューサが新しいメッセージを送信するとき、どのIDがメッセージのデフォルトの形式ですか？ Avroフォーマット？どのようにすれば、このデフォルトフォーマットを他のフォーマットに変更できますか？

Q3）パーティション内のファイル（ログセグメント）の最大サイズを設定するには、log.segment.bytes（デフォルトでは1G）の設定を変更する必要があります。しかし、どの設定パラメータを変更しなければならないのですか？ディレクトリ（つまりパーティション）の最大サイズを増減する必要がありますか？

Q4）リーダーが死んでいると考えられるパーティションの場合は、フォロワーパーティションの1つが先頭になります。新しいリーダーを選出するためのステップは何ですか？ （つまり）新しいリーダーの選挙はどのように行われますか？

Q5）2つのディスク間の時間を変更できる設定パラメータは何ですか？ （ディスク上の連続データ書き込み - シーケンシャル書き込み）

Q6）ハードディスクからKafkaブローカーのヘッドがKafkaの消費者に送信される仕組みは？ Kafka BrokerとZookeeperの相互作用は何ですか？ 消費者またはKafka Brokerにメッセージを送信するZookeeperですか？

は、事前に

Answer 1

Q1をありがとう：How Partitions are split into Kafka Broker?

Q2を参照してください。ブローカーは、メッセージの形式にとらわれない - 彼らは、プレーンバイト配列のメッセージを処理します。したがって、あなたは持ちたいメッセージ形式を扱うことができます。フォーマットはあなた自身のコードで決定されます。あなたが望むものを選んで、それに対応するデシリアライザをプロデューサ/コンシューマに提供するだけです。

Q3：構成可能な保持時間（log.retention.ms）が経過した後、またはlog.retention.bytesを超えて拡大すると、トピックとパーティションが切り捨てられます。さらに、無限の成長を避けるためにトピックを圧縮することもできます。 （log.cleanup.policy）

Q4：リーダー選挙の場合は、Apache Zookeeperが使用されます。

質問5：質問を理解できません。

Q6：ZKは、メタデータを保持するためにのみ使用されます（トピックは存在します）。 ZKは、クライアントブローカ通信の実際のデータ転送には関与していません。カフカは独自のネットワークプロトコルを使用しています。詳細については、Kafka Wikiを参照してください。https://cwiki.apache.org/confluence/display/KAFKA/Index