HDFSへのパラレルコピー

Question

NFSマウントからのhadoopへの並列コピーを達成するための最良かつ迅速な方法は何ですか？ 膨大なファイル数のマウントがあり、hdfsにコピーする必要があります。

一部のオプション

：

1. 実行copyFromLocal
2. マルチスレッドの方法では、孤立した方法でdistcp使用してください。
3. 地図のみのジョブをコピーしてコピーできますか？

よろしく、 JD

Answer 1

私は重要な問題は、NFSリンクのソース側にあるものだと思いますか？ NASの場合は、複数のクライアントマシンが同時にcopyFromLocalを実行している状況（それぞれが1つ）である方が良いでしょう。同じクライアントから5〜10台以上のディスクを同時に読み取ると、高パフォーマンスのNASでも不快感を感じます。 > 1つのクライアント - - > 5、10、50、100の並列処理

NAS - > 5クライアント - > 5、10、50、100

• NAS：私は（すべてcopyFromLocalで）次のようにモデル化することになります並列プロセスそれぞれ

プロセスの起動コストが高すぎるため、M/Rを避けることになります。ソースNASがどれくらいの負荷をかけられているかを制御できないため、distcpもそうしません。これはあなたのボトルネックになります）。