Hadoopはディレクトリをコピーしますか？

Question

ローカルディレクトリ全体をHDFSにコピーできるHDFS APIはありますか？私はファイルをコピーするためのAPIを見つけましたが、ディレクトリ用のAPIはありますか？

Answer 1

Hadoop FS shellを使用してください。具体的に：あなたは、プログラムでそれを行う2つのファイルシステム（ローカルおよび1 HDFS 1）を作成し、the FileUtil class

Answer 2

を使用したい場合は

$ hadoop fs -copyFromLocal /path/to/local hdfs:///path/to/hdfs 

私はそれを与えた

/hadoop/core/bin/hadoop fs -copyFromLocal /home/grad04/lopez/TPCDSkew/ /export/hadoop1/lopez/Join/TPCDSkew 

を使用して、ディレクトリからコピーしてみました私はTargetがディレクトリだと言っているエラーです。私はそれを

/hadoop/core/bin/hadoop fs -copyFromLocal /home/grad04/lopez/TPCDSkew/*.* /export/hadoop1/lopez/Join/TPCDSkew 

に変更しました。

Answer 3

プログラマーにとっては、copyFromLocalFileも使用できます。ここでは一例です：

Hadoopのバージョンで

import org.apache.hadoop.conf.Configuration 
import org.apache.hadoop.fs.FileSystem 
import org.apache.hadoop.fs.Path 

val hdfsConfig = new Configuration 
val hdfsURI = "hdfs://127.0.0.1:9000/hdfsData" 
val hdfs = FileSystem.get(new URI(hdfsURI), hdfsConfig) 

val oriPath = new Path("#your_localpath/customer.csv") 
val targetFile = new Path("hdfs://your_hdfspath/customer.csv") 
hdfs.copyFromLocalFile(oriPath, targetFile) 

Answer 4

：

Hadoop 2.4.0.2.1.1.0-390 

（そしておそらく後に、それは私が持っているものですと私は、この特定のバージョンをテストしている）

コピーすることができますを使用してディレクトリ全体を再帰的に再帰的に使用します。たとえば、

hadoop fs -copyFromLocal /path/on/disk /path/on/hdfs 

は、/path/on/diskがサブディレクトリとファイルを含むディレクトリであっても動作します。