2016-09-13 3 views
0

私は、Kafka-Connectで.propertiesファイルのいくつかのパラメータを指定して、正確に一度のセマンティクスを有効にできるという印象を受けています。kafka-connectフレームワークが正確に1回のセマンティクスを達成するために必要な設定

これらの設定が見つかりませんでした。私は
https://cwiki.apache.org/confluence/display/KAFKA/FAQ

それはセマンティクス一度接続カフカの設定を変更することにより、正確に達成することが可能である、
https://github.com/koeninger/kafka-exactly-once/blob/master/blogpost.md
も古いようにこれを達成するための他の方法を発見しましたか?

答えて

2

Kafka Connectはフレームワークスコープで正確に一度のセマンティクスをサポートしません。正確に一度のセマンティクスを提供する個々のコネクタ(例えば、Confluentが提供するHDFSコネクタ)があります。しかし、現時点ではフレームワークレベルの設定ではありません。

+0

ConfluentのHDFSコネクタへのリンクを提供できますか?私はkafka connectのhdfsコネクタを使用します。 – Adrian

+1

これは、他に興味がある場合のためのコネクタハブへのリンクです。 Confluentが提供するhdfsコネクタが見つかります。 http://www.confluent.io/product/connectors/ – dawsaw

関連する問題