フォルダ内のファイルをストリーミングする

Question

私はflumeからkafkaにストリーミングアプリを移しています。
私はkafkaを初めて利用しているので、私は助けが必要です。

私は、CSVファイルが特定の場所（D：/ Folderなど）のIOTセンサーによって継続的に生成されているWindowsマシンを持っています。
ハープループクラスタに転送したいです。

1）ログファイルの転送の間にkafkaクラスタ/ブローカが必要ですか、またはWindowsマシンからhadoop Linuxマシンに直接転送できますか？

2）Windowsとhadoop Linuxマシンにkafkaをインストールしてから、自分のCSVファイルをhadoopマシンで作成したkafkaトピックに直接公開できますか？
私はhadoopマシンでコンシューマーを実行しますか？

Answer 1

カフカコンシューマを使用してファイルを取得し、HDFSに配置します。キューにファイルを送信するにはプロデューサが必要で、消費者は自分が望むことを実行する必要があります。

プロデューサはWindowsで実行でき、kafkaクライアントAPIが必要です。

消費者はHDFSで動作しなければなりません。あなたのクラスタにkafkaをインストールし、設定する必要があります...あなたのHadoopディストリビューションに依存します。

Answer 2

私はあなたがカフカを使用したい場合は、[はい、あなたが実際のクラスタを必要とするログファイルに

を転送する間にカフカクラスタ/ブローカーが必要です。

私はWindowsマシンからhadoop Linuxマシンに直接転送できますか？

確かに。使用水路、スパーク、FLINK、NiFiなどカフカは必要ありません

私はちょうど窓とのHadoop Linuxマシン上でカフカをインストールしてから、私は直接Hadoopのマシン上に作成されたカフカのトピックに私のCSVファイルを公開することができ

プロデューサークライアントにはKafkaをインストールしません。ライブラリをダウンロードしてメッセージを公開するために使用します。 HadoopノードにKafkaをインストールしても構いませんが、実際には独立したハードウェア上にあるべきです。