2016-11-14 5 views
0

は、私はmessage.valueが私のプロデューサーで照会カフカメッセージ

を送信する前にカフカにすでに存在しているかどうかを検出する必要がapplication.Forこれをストリーミング私の火花でカフカのメッセージプロデューサ(KafkaProducer)を持ってあります私はカフカのメッセージを照会することができるので、任意のツールですか?私はメッセージを消費したいのではなく、既存のメッセージを照会するだけです。

+0

これは不可能です。 –

答えて

1

短い答え:これはカフカ機能を内蔵しているため不可能です。

あなたは、現在のユースケースでこのような機能が必要な理由を説明することができます。あなたがやりたいことを達成するための他の方法があるかもしれません。

+0

私はいくつかのプローブレコードをファイルストリームから送信していますが、レコードは(元のファイルに)反復する可能性がありますので、送信する前に重複レコード(カフカからすでに送信されているもの)を検出する必要があります。 – mahdi62

+1

その場合、私の短い答えはまだ有効です。カフカにはすぐに使える機能はありません。 –

1

値を挿入する前にキーを検索する必要がある場合は、HbaseまたはMongoDB、またはその他のオプションElasticsearch、Cassandraを使用する必要があります。 カフカはデータバッファで、システムのデカップリングを目的としています。 正しい方法でテクノロジを使用する必要があります。