HDFSでデータを更新中にflumeがエラーを起こします

Question

HDFSデータノードまたは名前ノードの一部ではない別のマシンでflumeを実行する必要があり、Kafkaからデータを読み取り、別のクラスタで動作するHDFSに格納する必要があります。それはできますか？ hadoop jarファイルに関連するエラーが発生しています。

Answer 1

Apacheの水路あなたはカフカからデータを読み込み、HDFSに戻って保存されているので、HDFSシンクのためのHadoop jarファイルが必要です。

すべてのhadoop関連のjarファイルをクラスパスに追加してから、もう一度実行してください。