Kafka-ConnectとFilebeat＆Logstash

Question

私はKafkaから消費し、HadoopとElasticsearchにデータを保存したいと考えています。 私はこれを行う2つの方法を現在見てきました.Filebeatを使用してKafkaから消費し、ESに送信し、Kafka-Connectフレームワークを使用します。 Kafka-Connect-HDFSとKafka-Connect-Elasticsearchモジュールがあります。

ストリーミングデータを送信するためにどちらを使用するかわかりません。ある時点でKafkaからデータを取り出してCassandraに入れることを望むなら、私はKafka-Connectモジュールを使用することができますが、Filebeatにはこのような機能はありません。

Answer 1

Kafka Connectはストリーミングデータを扱うことができ、さらに柔軟性があります。あなたが弾力をつけようとしているのであれば、Filebeatはログソースのクリーンな統合です。しかし、あなたがカフカからいくつかの異なるシンクに行くなら、カフカコネクトはおそらくあなたが望むものです。私は現在、あなたの使い捨てでオープンソースコネクタのいくつかの例を見るためにコネクタハブをチェックすることをお勧めします。