distcpを使用して、ファイルリスト(1Kファイル以上)をhdfsにコピーしたいと考えています。私はすでにローカルディレクトリにファイルのリストを格納していますが、今は-fを使ってすべてのファイルをコピーできますか?はいの場合、ファイルリストファイルでどのようなフォーマットを維持する必要がありますか?それとももっと良い方法がありますか?ファイルリスト付きのHadoop distcp
0
A
答えて
0
ユースケースがローカルファイルシステム(Linuxなど)からHDFSにデータをコピーする場合は、distcpを使用する必要はありません。あなたは同じためにhdfs dfs -put
コマンドを単に使うことができます。ここに構文があります。
hdfs dfs -put /path/to/local/dir/* /path/on/hdfs/
例えば
hdfs dfs -mkdir /user/hduser/destination-dir/
hdfs dfs -put /home/abc/mydir/* /user/hduser/destination-dir/
あなたはファイルパスのリストを含むファイルを作成しているが、それは全く必要ではありません。あるクラスタから別のクラスタにデータをコピーするときに、主に(distcpのために)使用されます。
関連する問題
- 1. ローカルHadoopからAmazon S3へのDistCp
- 2. ブロックレベルでHadoop Distcpをコピーしますか?
- 3. EMRでs3-dist-cpとhadoop distcpジョブが無限ループする
- 4. oozie distcp job execution
- 5. vifm:ファイルリストの日付/時刻を表示
- 6. Hadoopのdistcpジョブが成功しましたが、ApplicationMasterによってtry_xxxが殺されました
- 7. マップdistcpのJavaでジョブを減らす
- 8. Hadoopでの条件付きファイルの処理
- 9. bash - ファイルリスト内のワイルドカード
- 10. 従来のASPファイルリスト
- 11. Chrome Devtools空のファイルリスト
- 12. 分割ファイルリスト
- 13. ファイルリストを日付順にソートする方法は?
- 14. Visual Studioのファイルリストへのショートカット
- 15. tail-like continuous ls(ファイルリスト)
- 16. Rubyの再帰的ファイルリスト
- 17. SLURMのファイルリストを処理中
- 18. stataのファイルリストをループする
- 19. HDFSはDistcp S3に - S3バケットにHDFSからファイルをコピーするためのアクセスキー
- 20. javaでdistcpパッケージをインポートするにはどうしたらいいですか?
- 21. Amazon S3からhadoopにファイルをコピー
- 22. Hadoop - テーブルを作成するときの日付の書式設定
- 23. Spark/Hadoop - サーバーサイドの暗号化でs3に保存できません。
- 24. Dropbox python apiファイルリストを表示
- 25. Oozie - 動作設定によるDistCpの戦略設定
- 26. Hadoop API VS. Hadoop Streaming
- 27. Hadoopハイブテーブルがmsckで修復されない
- 28. QTreeViewのファイルリストをツリーとして表示
- 29. doxygenファイルリスト内のファイルを非表示
- 30. apacheによるファイルリストの問題
こんにちは、distcpを使ってLFS(ローカルファイルシステム)からHDFSにファイルをコピーすることはできません。正しいコマンドは-copyFromLocal