kafka-producer-api

2熱

1答えて

Kafkaでは、パラメータ "retries"が1以上に設定されている場合、自動的に再試行されますか？

retriesパラメータには、クライアントがその送信潜在的に一時的なエラーで失敗する任意のレコードを再送信するようになりますゼロより大きな値を設定するを述べて。この再試行は、クライアントがエラーを受け取ったときにレコードを再送信した場合と同じです。私が確認したいのは、kafkaフレームワークによって自動的に行われた再試行か、クライアント側からの追加の処理が必要なことです。自動的に完了し、re

2熱

2答えて

同期メッセージをkafkaで送信しますか？

カフカで同期メッセージを送信するには？これを達成する1つの方法は、プロパティパラメータ max.in.flight.requests.per.connection = 1を設定することです。しかし、私はカフカで同期メッセージを送信する直接的または代替的な方法があるかどうかを知りたいと思います。（producer.syncSend（...）などのようなもの）。

3熱

1答えて

スプリングカフカパーティショニング

メッセージを公開する以下の2つのコードスニペットの動作の違いは何ですか？アプローチ1 Message<String> message = MessageBuilder.withPayload("testmsg") .setHeader(KafkaHeaders.MESSAGE_KEY, "key").setHeader(KafkaHeaders.TOPIC, "test").buil

2熱

2答えて

カフカのバッチ処理がScalaのプロデューサで動作しません

私はScalaのプロデューサーを書いていますので、バッチ処理したいと思います。バッチ処理がうまくいく方法は、メッセージがいっぱいになるまでキュー内のメッセージを保持し、そのメッセージをすべてトピックにまとめて投稿することです。しかし、何とかそれは動作していません。メッセージの送信が始まると、メッセージが1つずつ投稿され始めます。誰もカフカプロデューサーでバッチ処理を使用する方法を知っていますか？あ

0熱

1答えて

複雑なデータ用のkafkaメッセージ形式\メッセージ

私たちはシステムでストリーム処理にkafkaを使用しています。入力データ\メッセージの構造は非常に複雑です。どのように入力メッセージの構造を定義するか。これは入力データ\メッセージのための最も適切な構造と直列化メカニズムです。

3熱

1答えて

スパークストリーミングでkafkaプロデューサを再利用

私たちはkafkaからデータを取得し、MongoDBにデータを挿入する前に（各メッセージで）いくつかの変換を行うスパークストリーミングアプリケーションを提供しています。我々は、メッセージをバルクでカフカにプッシュし、スパークストリーミングアプリケーションからの（各メッセージの）確認応答を待つミドルウェアアプリケーションを持っています。メッセージをKafkaに送信した後、一定期間（5秒）以内にミドル

0熱

1答えて

cassandraトリガー作成時のjava.lang.NoClassDefFoundError

こんにちは私は、あるテーブルに挿入した後にカフカに情報を送る小さいカサンドラトリガーを書いています。ここに私のトリガーのコードは次のとおりです。 public class InsertDataTrigger implements ITrigger { public Collection<Mutation> augment(Partition update) { //che

0熱

2答えて

カフカのメッセージキーを設計する最良の方法は何ですか？

パーティション化されたトピックがあります。パーティションにはXのパーティションがあります。現在のところ、メッセージを作成するときは、topicとvalueと指定したKafkaのProducerRecordを作成します。私はkeyを定義しません。私が理解する限り、私のメッセージはデフォルトの組み込みパーティションを使ってパーティション間で均等に分配されます。一方、私はカフカの消費者のスレッドプ

2熱

1答えて

FLINKストリーミング：

私のストリームは、キーがusr12345であり、値がストリーム出力に{"_key":"usr12345","_temperature":46.6} .print()あるタイプTuple2<String,String> .toString()出力(usr12345,{"_key":"usr12345","_temperature":46.6}) の記録を生産しているシリアル化された文字列のメッセージ

2熱

3答えて

Kafkaコンシューマとプロデューサパーティションの一致

フロントエンドサービスがKafkaのリクエストのトピックにメッセージをプッシュし、ダウンストリームのバックエンドコンシューマの別の「応答」トピックをリッスンするシステムを作成しています。最終的にKafkaにプッシュバックして） 'request'メッセージの処理を行い、最終的に 'response'トピックにプッシュします。消費者が適切なパーティションでリッスンして応答を受信し、フロントエンドコ