私は各ディレクトリにN個のファイルを持つ複数のフォルダを含むdirを持っています。 1つのファイルサイズは15 GBになります。ファイルをローカルからHDFSにコピー/移動する最善の方法は何か分かりません。巨大なサイズのファイルをローカルからhdfsにロードするにはどうすればいいですか
0
A
答えて
0
はhdfs dfs -put /path/to/localdir/ hdfs://path/to/hdfsdir
hdfs dfs -copyFromLocal /path/to/localdir/ hdfs://path/to/hdfsdir
hdfs dfs -moveFromLocal /path/to/localdir/ hdfs://path/to/hdfsdir
hadoop distcp file:///path/to/localdir/ hdfs://namenode:port/path/to/hdfsdir
オプション1 & 2が同じである
- 、のような、(伝統的な方法を使用して)これを行うには多くの方法がありますあなたの場合。コピー時間に違いはありません。
オプション3は、データをHDFSファイルシステム(
-put
と同じ)にコピーしてからローカルファイルシステムからファイルを削除するので、もう少し時間がかかることがあります。オプション4はトリッキーなものです。クラスター内/クラスター内の大規模なコピー用に設計されています。しかし、ローカルファイルURLに "file://"接頭辞を付けることによっても、同じコマンドをローカルファイルに使用できます。これは、ツールがMapReduceを使用して並行して動作するように設計されており、ファイルがローカルにあるので、その強度を利用することができないので、最適な解決策ではありません。 (クラスタノードにマウントを作成すると、distcpのパフォーマンスが向上する可能性があります)
関連する問題
- 1. WindowsのローカルHDFSにアクセスするにはどうすればよいですか?
- 2. 巨大なAIFFファイルを救済するにはどうすればいいですか?
- 3. IDLEが巨大なリストを印刷するのを止めるにはどうすればいいですか?
- 4. Canvasで巨大な白いビットマップを作成するにはどうすればよいですか?
- 5. 大きなCSVファイルを扱うにはどうすればいいですか?
- 6. 巨大なWordPressマルチサイトデータベースを別々のMySQLデータベースに分割するにはどうすればよいですか?
- 7. S3からAmazon EMR HDFSにファイルをコピーするにはどうすればよいですか?
- 8. UIWebWiew内にロードされたローカルHTMLファイルからアクセスできるファイルにJSON応答を保存するにはどうすればいいですか?
- 9. モノにGIFファイルをロードするにはどうすればいいですか?
- 10. ローカルの.SQLファイルをMySQLにロードするにはどうすればよいですか?
- 11. イメージのサイズをいくらか大きくするにはどうすればよいですか?
- 12. HDFSブロックの大きさはどれくらいですか?
- 13. イメージのサイズをコマンドラインから最大2MBにバッチするにはどうすればよいですか?
- 14. 巨大なラスタスタックを使用して計算をスピードアップするにはどうすればよいですか?
- 15. SRパーサーファイルをマッパーのhdfsにロードするにはどうすればよいですか?
- 16. 巨大なファイルから
- 17. グラフ "画像"から大きなサイズを戻すにはどうすればよいですか?
- 18. * .corpusファイルをPythonにロードするにはどうすればよいですか?
- 19. ウェブサイトのhttps側のhttpdocsからファイルをロードするにはどうすればいいですか
- 20. コンテナの滑らかなカロウズのサイズを親の100%にするにはどうすればいいですか?
- 21. PyQt:ユーザーからファイル名の大きなリストを取得するにはどうすればよいですか?
- 22. 外部ファイルのロードから関数を正しくexecteするにはどうすればいいですか?
- 23. PowerMockRunnerで実行されるアンドロイドユニットテストからjsonファイルをロードするにはどうすればよいですか?
- 24. Colladaの.daeファイルのモーフコントローラからSceneKitにSCNMorpherターゲットをロードするにはどうすればよいですか?
- 25. Jsoupにローカルhtmlファイルをロードするにはどうしたらいいですか?
- 26. ReactJSをローカルにインストールするにはどうすればいいですか?
- 27. PyQt:リソースからuiファイルをロードするにはどうすればいいですか?
- 28. Oracleテーブルに大きなサイズのデータを挿入/更新するにはどうすればよいですか?
- 29. linuxからファイルをダウンロードするにはどうすればいいですか?
- 30. 大きなデータ、どのように巨大なXMLファイルを高速に解析するのですか?