私はアプリケーションログの取り込みのための単純なパイプラインを設定する作業をしています。 このパイプラインの前提条件は、トランスポートプロトコルとしてkafkaを使用することです。 私が理解しているように、flumeにはログファイルを取り込む機能が組み込まれています。 flumeをプロデューサーとして使用し、その出力をkafkaトピックに渡す方法はありますか?flumeをカフカプロデューサとしてログの取り込みに使用できますか?
1
A
答えて
2
はい、FlumeをKafkaのプロデューサとして使用できます。 Flumeが提供するこのAPIをご覧ください。https://flume.apache.org/releases/content/1.6.0/apidocs/org/apache/flume/sink/kafka/KafkaSink.html
0
はい、利用できます。前の応答で指定されているとおりです。
# Sources, channels, and sinks are defined per
# agent name, in this case flume1.
flume1.sources = kafka-source-1
flume1.channels = hdfs-channel-1
flume1.sinks = hdfs-sink-1
# For each source, channel, and sink, set
# standard properties.
flume1.sources.kafka-source-1.type = org.apache.flume.source.kafka.KafkaSource
flume1.sources.kafka-source-1.zookeeperConnect = ...
:
はちょうどあなたがと同様の構成を行う必要があることを追加したいです
関連する問題
- 1. Flume solrSink、エラーなし、データをSolrに取り込みません
- 2. スタックオーバーフローの取得log4jを使用してログを書き込むときのエラー
- 3. Flumeを使用してTwitterデータを取得できない
- 4. C++ Winsockを使用してソケットからの書き込み/読み取り
- 5. 読み取りと書き込みJSONファイル使用してjavascriptの
- 6. アドバンスカスタムフィールドを使用して画像を取り込みます
- 7. ドロップダウンを使用してjsonからのデータをテーブルに取り込みます
- 8. カフカプロデューサを別のスレッドで使用する
- 9. NIO2 AsynchronousSocketChannel CompletionHandlerを使用して完全に読み取り/書き込み
- 10. 名前付きFIFOパイプはディスクの書き込みと読み取りを使用しますか?
- 11. 配列としてFullCalendarイベントを取り込みます - 別の配列からデータを取り込みます
- 12. Ruby組み込みRSSモジュールを使用して原子フィードを読み取ることはできますか?
- 13. Reflectを使ってログに書き込みを追加する
- 14. ラムダによって取り込まれた変数にアクセス(読み込み専用)できますか?
- 15. Flume NGを使用してコンソールでログを収集するにはどうすればよいですか?
- 16. Whileループを使用してT-SQLに列を取り込み
- 17. 読み取り/書き込みアクセス違反libfreenect2を使用しているC++
- 18. silverlightを使用してレジストリに書き込みますか?
- 19. C#ファイルを読み取り専用で読み取り/書き込みする
- 20. 「読み取り専用ページへの書き込み」エラーとは何ですか?
- 21. 1つのファイルをバッファとして使用できますか?私。同時に書き込みと読み取りを行う
- 22. flumeでtwitterデータを取得しようとしています
- 23. Jenkinsfileからのログの書き込み
- 24. データバインディングを使用してfirebaseリサイクラーアダプターで画像を取り込みます
- 25. Asp.Net MVCでJavaScriptを埋め込みリソースとして使用できますか?
- 26. doMPIを使用してログに書き込む
- 27. Spidevはioctlを使用して同時に書き込み/読み取りをしません
- 28. 読み取り/書き込みと書き込みの回数が等しい行に対してdbインデックスを作成する必要がありますか?
- 29. VBAを使用してExcelファイルの現在の読み取り/書き込みユーザーを取得する方法
- 30. FlumeがHDFSに書き込まれない限り、