カフカを設定して、最古のメッセージや最新のメッセージを読むことができます。 以前のオフセットから読み取る必要がある場合に備えて、追加オプションを含めるにはどうすればよいですか? これを行う必要があるのは、先に処理ロジックが間違っているため、読み取られた以前のメッセージを再度処理する必要があるからです。kafkaを設定して、最も早い、最新の、そして任意のオフセットから読み取るオプションがあるようにするには?
答えて
java kafkaクライアントでは、次の消費位置を指定するために使用できるカフカ消費者に関するいくつかの方法があります。
ます。public void 消費者は、次のポーリング(タイムアウト)に使用するオフセットをフェッチ(TopicPartitionパーティション、 が長いオフセット)
オーバーライドをを求めています。このAPIを同じパーティションに対して複数回呼び出すと、次のpoll()で最新のオフセットが使用されます。このAPIが消費の途中で任意に使用され、フェッチオフセットをリセットする場合、データが失われる可能性があることに注意してください。
これで十分です。また、seekToBeginningとseekToEndもあります。
私は同様の回答ですが、全く同じ質問ではありませんので、私の情報があなたに役立つかどうかを見てみましょう。
まず、要するにI have been working from this other SO question/answer
は、あなたのオフセットをコミットしたいし、そのための最も一般的な解決策は、ZooKeeperのです。したがって、消費者がエラーに遭遇したり、シャットダウンする必要がある場合、消費者は中断したところから再開することができます。
私は非常に大容量の大量のストリームを扱っています。私の消費者(テスト用)は毎回末尾から開始する必要があります。私の出発点を宣言するためには、KafkaConsumer seekを使用しなければならないことが書類に示されています。
成功して信頼できるものになったら、ここで私の発見を更新しようとします。確かに、これは解決された問題です。
0.9がKafka自体(__consumer_offsetsトピック内)にあるので、オフセットを格納する最も一般的な場所です。 Zookeeperは、古いコンシューマAPIのオフセットにのみ使用しました。 –
- 1. Kafka Consumer最大オフセットから読み取るプロパティ
- 2. kafkaの最新のオフセットを取得する方法
- 3. kafkaトピックの最新のオフセットを取得するにはどうすればよいですか?
- 4. OptionParser - コマンドラインの最後に任意のオプションを指定する
- 5. 任意のバージョンから最新の安定版に更新
- 6. Spark Streamingの最初からKafkaトピックからレコードを読み取る方法は?
- 7. kafkaトピックのパーティションの最新のオフセットを取得する方法は?
- 8. 最新のアイテムを一意に連続して取得するにはどうすればよいですか?
- 9. 最初にSDKオプションを使用してModuleTypeを設定する
- 10. 任意のidのようなキーを設定するには?
- 11. JSON設定ファイルから任意の関数/ラムダを読み取って評価する()
- 12. Log4Netログファイルからエラーメッセージを読み取る最も良い方法
- 13. Pythonの.txtファイルからどのように読み込み、その中から特定のものを取り出してタプルに入れるのですか?
- 14. ドロップダウンのオプションがWebdriverによって読み取られない
- 15. 私はそののDataContextを設定することができますが、グラフィックとして何もしない任意のマークアップはありますか?
- 16. Doctrineは、最も新しいレコードを最も古いレコードから最新のレコードにソートします。
- 17. ストームUIを投げている "kafkaのオフセットは古いバージョンではサポートされていません。最新のバージョンに更新してください。"
- 18. 最高(最新)と最低(最も早い)日付を見つける方法
- 19. スクロールバーの位置を最初に取得して設定するにはどうすればよいですか?
- 20. 接頭辞によってプロパティファイルからプロパティを読み取る最も効率的なソリューションは何ですか?
- 21. IIS設定を新しいサーバーに複製する最も良い方法は?
- 22. 最初に設定したよりもペイロードを早く発生させるためにsetTimeoutを強制する
- 23. 最高の優先度を設定しても最初にインストールされてもSMSが届かない
- 24. 3Dカメラは、任意の点を見ているが、そう
- 25. cv2.imread:固定場所から任意の画像ファイルを読み取る
- 26. ファイルからStringを読み取る最も速い方法は何ですか?
- 27. Railsの最新のニュースを最新のものにするにはどうすればよいですか?
- 28. Kafkaプロデューサーが共有する最新のデータを取得しないコンシューマー
- 29. 任意の数のオプションに基づいてコレクションをフィルタリングする
- 30. 他のアプリケーションによってロックされているテキストファイルを読み取る最も簡単な方法
パーティションが3つあり、最新のオフセットが12,13,15の場合、特定のタイムスタンプからすべてのメッセージを読みたい場合は、どのようにしてそれを覚えますか? –
タイムスタンプからメッセージを読み取ることができません。ちょうどオフセットがあります。すべてのメッセージを読み取ってから、メッセージにタイムスタンプ値が含まれている場合に処理します。 – GuangshengZuo
あなたは、各メッセージを読んで、自分のスクリプト内でそれを私が探しているタイムスタンプと比較すると言っていますか? –