Kafkaを既存のファイルと新しいファイル（ウォッチフォルダ）で接続する方法

Question

Linuxサーバー上でApache Kafka Connectを使用してファイルを処理したいと考えています。

使用例：サブフォルダに200万個のXMLファイルがあるフォルダがあります。私はそれらのすべてをタイムスタンプの順番でApache Kafkaにプッシュしたいと思います。次に、新しいファイルのフォルダとサブフォルダを見て、到着順にKafkaにプッシュします。

これは可能ですか？または、このプロセスを分割する必要がありますか？プラグインは使用できますか？

Answer 1

それはコミュニティから他のプラグインを参照するにはconnectors.confluent.io実行可能なチェックアウトはない場合spooldirコネクタプラグインにhttps://github.com/jcustenborder/kafka-connect-spooldir

をチェックしてください。

オーダーの保証は、パーティショニング戦略に基づいています。トータルオーダーが必要な場合は、1つのパーティションを使用してください。