Apache Kafkaのrebalnce後のパーティションとコンシューマの場所

Question

次のような効果を得たいです。 私は3つの作業者に9つのパーティションが広がっているとしましょう。それは次のようになります。私は何をしたいか

を、新しいマシンは、コンシューマ・グループに参加したときにということです。 これにより、新しいコンシューマが追加されます。私は、新しい消費者に可能な限り少ないパーティションを移動させるだけのリバランスを望みます。

ように： パーティション3 6 9が新しい消費者にどのように終わったかを見てください。 他のコンシューマは、既存のパーティションのほとんどを保持していました。

これは可能ですか？ 私がしたいことは、カフカの後ろにステートフルなシステムを構築することです。 私はすでに実行できますが、コンシューマが参加または離脱するときのデフォルトの動作は、すべてを切断して最初から再バランスを実行することです。 こうすることで、多くのパーティションを作成してコンシューマーを変更できます。 これは意味がありますか？

Answer 1

現在のところ、カフカは最小限の影響力を持つリバランスまたは部分的なリバランスを行う機能をサポートしていません。ただし、o.a.k.clients.consumer.AbstractPartitionAssignorを拡張し、 'partition.assignment.strategy'をそのパスに設定する新しいクラスを作成することで、これを実現する独自のパーティショナロジックを実装することができます。