はいの場合は、このための基本的な手順を教えてください。 私はページを狙って、core-site.xmlを使ってできることを理解しました。ファイルをHDFSシステムに転送するのにApache NIFIを使用してもよいでしょうか。
2
A
答えて
1
PutHDFSプロセッサを使ってファイルをHDFSファイルシステムに簡単に転送できます。あなたは次のプロパティを指定する必要があり、このプロセッサには、以下のリンク。この時
見て、
https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.hadoop.PutHDFS/
は、HDFSにファイルを転送するのに十分です。
1.Hadoop設定リソース:-Aファイルまたはコンマファイル
/Hadoop/conf/core-site.xml,/Hadoop/conf/hdfs-site.xml,/Hadoop/conf/yarn-site.xml,/Hadoop/conf/mapred-site.xml
2.Directoryの区切りリスト:あなたのHDFSディレクトリの場所
/FilesFromNiFi/
3を指定します。競合戦略:(追加/置換/無視/失敗)
例えば210append
:uはHDFSにローカルドライブからファイルを移動する必要がある場合
は、あなたが以下に関してUIにプロセッサをドラッグする必要がNiFiワークフロー
GetFile-->PutHDFS
GetFile-->Just give your input directory.
putHDFS-->Specify your HDFS location
の下に使用することを意味画像。、
は、この二つのプロセッサをドラッグするには、このリンクを参照のGetFi NiFi UIへルとputHDFS
https://nifi.apache.org/docs/nifi-docs/html/user-guide.html#adding-components-to-the-canvas
http://zdatainc.com/2016/02/hello-nifi-data-orchestration-using-hortonworks-dataflow-hdf/
はあなたがどんな問題に直面しているなら、私に知らせてください。
関連する問題
- 1. Apache Nifiを使用してmysqlからHive/hdfsにデータをインポートする
- 2. csvファイルをhdfsに転送し、flumeを使用してavroに変換する
- 3. apache nifi、hdfs parquet format
- 4. Apache NiFiを使用してCSVファイルをJSONに変換する
- 5. hdfsの転送ファイルについて
- 6. JAFSを使用してバイトストリームをHDFSに転送
- 7. ファイルをHDFSから転送する
- 8. phantomjsを使用してデータオブジェクトをhtmlファイルに転送するにはどうすればよいですか?
- 9. Nifiを使用してHDFSにデータを取り込む - ファイルにアクセスできない
- 10. Apache Nifiを使用してMySqlからHiveにデータをインポートするには?
- 11. RDBMSからhdfsにデータを転送する際のApache Spark-SQLとSqoopのベンチマーク
- 12. ReplaceText Apache NiFiでの使用
- 13. Cを使用して別のPCにファイルを転送する
- 14. Apache NiFiを使用したHbaseカウンタ
- 15. APACHE Webサーバー、Linux CentOSを使用してHDFS HADOOPにアクセスする
- 16. Javaを使用してWINSCPファイル転送を自動化するにはどうすればよいですか?
- 17. Apache CXFを使用したファイル転送Webサービス
- 18. Apache Camelを使用した一般的なファイル転送ルート
- 19. Hybrisを使用して1つのシステムから別のシステムにHANAビューを転送する方法
- 20. CFWriteStreamを使用してファイルをソケットに転送する
- 21. CDNからデータを転送するのは難しいでしょうか?
- 22. SFTPサーバーからJavaを使用してローカルシステムにファイルを転送
- 23. Jschを使用してUnixからWinxpサーバにファイルを転送
- 24. JAVAを使用してHDFSからローカルファイルシステムにファイルをコピーする
- 25. .NET Remotingを使用してファイルを転送しますか?
- 26. リクエストIDをApacheに追加して、それを基礎となるシステムに転送するにはどうしたらいいですか?
- 27. Apache Nifiを使用して新しいフローを作成する方法
- 28. ページルールなしでCloudflareを使用してサブドメインを転送するにはどうすればよいですか?
- 29. コマンドを使用してサーバー間でファイルを転送する
- 30. コマンドラインでMSTSCを使用してファイルを転送する
Apache NiFiに上記のコンポーネント(GetFile PutHDFS)が見つかりませんか? これにはいくつかの設定が含まれていますか? – Pradhuman
私は自分の答えを編集しました。あなたは、この2つのプロセッサーをUIにドラッグする必要があります。回答は –
です。返信いただきありがとうございます。私のNiFiバイナリが壊れていて、私は選択するオプションとして7プロセッサしか見ていなかった。 私は上記の問題を修正しましたが、現在は問題なく動作しており、オプションで183の奇妙なプロセッサーを見ることができます。 – Pradhuman