カフカは、多数の顧客に適していますか？

私はカフカが大量のトラフィックを処理できることを知っています。しかし、多数の同時クライアントではどれくらい拡張できますか？カフカは、多数の顧客に適していますか？

それぞれのクライアントは独自のgroup_idを持ちます（したがって、カフカはそれぞれのオフセットを追跡しています）。

カフカ0.9+のオフセットは内部で保存されていますか？

Zookeeperにオフセットが保存されているKafka 0.8の問題ですか？

2017-01-04 vartec

「同時クライアントの数が多い」と考えていることは何ですか？「10」、「1,000」、「1,000,000」、「1,000,000,000」、...？ –

最初はわずか数十に制限されていますが、答えに応じて、最大100,000+まで開くことが可能かどうか疑問に思っています。 – vartec

LinkedInなどのKafkaユーザーの中には、過去に単一のKafkaブローカーが約10,000のクライアント接続をサポートできることが報告されています。この数は、ハードウェアや設定などによって異なる場合があります。

リクエストレートがあまり高くない限り、制限要因はオペレーティングシステムで設定されているopen-file-descriptorsの制限に過ぎません。詳細についてはhttp://docs.confluent.io/current/kafka/deployment.html#file-descriptors-and-mmapをご覧ください。

2017-01-09 10:25:43

[i] "Kafkaのブローカーが約10,000人のクライアント接続をサポートできることをLinkedInが過去に報告しました" [/ i]私はKafkaに関するLinkedIn Engineeringの記事を辿っていますが、リンクを追加できますか？ – vartec

その情報は、会議や私たちのチームとの個人的な議論で共有されたかもしれません。残念ながら私は覚えていません。ジュン・ラオ（カフカの共同創作者であり、そのような質問の真実の声明）は、私に役立つ情報があればそれを確認しました。 –

答えて