kafka-producer-api

1熱

2答えて

私はカフカのトピックでどのような種類のデータがあるのだろうと思っていました。私がアプリケーションレベルで知っているように、これはキーと値のペアで、これは言語でサポートされている型のデータです。たとえば、いくつかのメッセージをトピックに送信すると、json、parquetファイル、シリアル化されたデータ、またはプレーンテキスト形式のメッセージだけで操作できますか？ありがとうございました。

0熱

2答えて

Kafkaプロデューサーメッセージレートを毎秒設定する方法は？

私はcsvファイルを読んでいて、この入力の行を私のKafka Producerに与えています。今私はカフカプロデューサーに100メッセージ/秒のレートでメッセージを出すことを願っています。

-1熱

2答えて

トピックの異なるパーティションでuniqeメッセージをプッシュする方法

私はユニークなメッセージをプッシュしたいこれらの3つのパーティションすべてで、パーティション数3のカフカでトピックを作成しました。それを行う方法はありますか？ producer.sendはすべてのパーティションで重複メッセージをプッシュします。テストのために私は、次のコードを使用しています： from kafka import KafkaProducer from kafka.errors i

-1熱

1答えて

カフカ消費者がポーリングすることができません

カフカのコンシューマアプリケーションがカフカからメッセージを読み込んでいる場合、別のものが読み込めず、その逆もありません。私たちは2つの独立したアプリケーションを実行しています.1つはメッセージを処理し、もう1つはデータベースに読み込んで入れます。最初のアプリケーションで処理されているメッセージ :-)私はあなたが唯一のパーティションとしてトピックを持っていると思います...私は推測することが

0熱

1答えて

Kafka Streams状態ストアバックアップのトピック分割戦略

Kafkaは、同じキーを持つメッセージは常に同じパーティションに移動することを保証します。例えば、私は文字列key：2329を持つメッセージを持っています。そして、2つのトピックt1とt2。このメッセージの書き込みを実行すると、期待通りに、両方のトピックのパーティション1に入ります。問題自体：私はKafka Streams 0.10.2.0永続状態ストアを使用しています。これは自動的にバック

1熱

1答えて

Javaを使用しているカフカの特定のトピックのTTLを更新する

更新TTLトピックではレコードが10日間トピックに残ります。私は特定のトピックについてのみこれを行う必要があります。他のすべてのトピックを残してください。TTLは現在の設定と同じです。javaを使用してこれを行う必要があります。トピックをkafkaにプッシュします。私はkafka Properties props = new Properties(); props.put("bootst

-4熱

1答えて

Javaのコードを使ってKafkaのトピックで書く

私はTopicを作成したが、そのトピックにいくつかのデータを挿入したいので、JAVAを通じてKafkaのトピックに書き込もうとしている。ありがとうございます。

3熱

1答えて

asp.netコア依存性注入設定

私は、私のアプリでシングルトンとしてカフカプロデューサーを注入しようとしています。インスタンスを破棄するには、現在2つのステップが必要です。まず、バッファをフラッシュし、2回目にdisposeを呼び出す必要があります。パフォーマンスを向上させるには、メッセージが処理されなくなったときにのみこれを行う必要があります。私の解決策は、ASP.NETコアで、AddSingleton()メソッドをDIで使

0熱

2答えて

カフカのプロデューサーがPORTからトピックにデータを生成

私はカフカを新しくしました。私は、ポート番号2552が外部サーバーからデータストリームを取得するLinuxマシンを持っています。私はカフカプロデューサーを使用して、そのポートをリッスンし、トピックへのデータストリームを取得したいと考えています。

0熱

1答えて

Kafkaコンシューマディスクから読み取るキャッシュキャッシュ

AWS上に2ノードのカフカクラスタを設定し、現在そのパフォーマンス属性をテスト中です。私はkafka-consumer-perf-test.shを使用して、カフカのトピックから1つのスレッドを使って5千万のメッセージを読みました。私は消費者のスループットをテストしながら次のことを観察しました。観察1 m4.large EC2インスタンス上の単一の消費者 - 3つの別々m4.large EC2