1
Gafblinを使用してHDFSの同じファイルにカフカからの新しいメッセージを追加する方法はありますか？今度は、カフカから読むたびに新しいファイルを作成します。たとえば毎分Gobblinジョブを実行すると、たくさんのファイルになります。Gobblin Kafka to HDFS：同じファイルに追加
助けてください！
A
答えて
0
Gobblinはよくわかりませんが、IMHO Apache Flumeはあなたにとってより良い選択です。
関連する問題
- 1. Kafka Connect HDFSシンクの問題
- 2. 同じcsvファイルに他のhtmlファイルの列を追加
- 3. python - 複数のスレッドから同じファイルに追加する
- 4. Hadoop Web UIからHDFSにファイルを追加する
- 5. ディレクトリのすべてのファイルに同じテキストを追加する
- 6. エラー：hdfsにレコードを追加するsqoop
- 7. Erlangを同じリストに追加する
- 8. Python：同じリストにリストを追加
- 9. 追加のコードを追加せずに同じ要素をコピー
- 10. KafkaのトピックとHDFSの接続
- 11. KafkaソースとSpring CloudのHDFSシンクデータフロー
- 12. Flumeのhdfsファイルにストリーミングログデータを追加するには？誰かがMRソースコードを持っていて、データをhdfsのファイルに追加するのですか？
- 13. RDD to HDFS - 認証エラー - RetryInvocationHandler
- 14. HDFS上のファイルに追加する推奨方法は何ですか？
- 15. hdfs kafka、flumeの異なるディレクトリにあるファイルの読み込み
- 16. SequenceFileへのHDFSの追加が遅い
- 17. javascript配列にオブジェクトを追加し、後で同じ.jsファイルにアクセスする
- 18. 同じプロジェクトに2つのgoogle-services.jsonファイルを追加するには
- 19. HDFSブロックサイズ混同
- 20. ruby fastercsv、ファイル内のすべてのセルに同じテキストを追加して追加します
- 21. sqoopエクスポートを実行中にhdfsで追加ブロックが必要
- 22. css3のアニメーション追加assingment to {}
- 23. 複数のPDF名ファイルに同じ文字列を追加する方法
- 24. バッチスクリプトを使用してフォルダ内のpdfファイルに同じパスワードを追加
- 25. 異なるサイズのデータフレームを同じCSVファイルに追加する
- 26. 同じ辞書キーに新しい値を追加
- 27. スパムストリーミングやflumeでXmlをAvroからKafka、hdfsに変換する
- 28. KafkaトピックをHDFSに読み込む方法は？
- 29. Kafka Connect HDFS - それを動作させるには？
- 30. Pythonの 'to SQLクエリパラメータに追加
私が知っているように、Flumeは同じファイルに追加することはできません。 –
1.同じフォルダにファイルを書き込むと、MR/Sparkはフォルダ内のすべてのファイルをフォルダに読み込むことができます。 –
はい、私の要点は何十億ものファイルを作成することではありません。 –