distpとs3aを使用してHDFSからAmazon S3にファイルをコピー

Question

Apache Hadoopバージョン2.7.2を使用し、以下のコマンドを使用してHDFSからAmazon S3にファイルをコピーしようとしています。

hadoop distcp hdfs://<<namenode_host>>:9000/user/ubuntu/input/flightdata s3a://<<bucketid>> 

上記のコマンドを使用すると、以下の例外が発生します。

java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: s3a://<<bucketid>>.distcp.tmp.attempt_1462460298670_0004_m_000001_0 

ありがとうございました。

Answer 1

S3にHDFSから行くことが可能であるべきである - 私は、HDFSクラスタからそれを実行し、次のような構文を使用する前にそれを行っている：

distcp -Dfs.s3a.access.key = ... -Dfs.s3a.secret.key = ... /ユーザー/浮浪者/ bigdata S3A：// mytestbucket/bigdata

それはあなたはそれが動作しない、このようなあなたのコマンドを実行します。

のHadoop distcpのHDFS：//namenode_host：9000/user/ubuntu/input/flightdata s3a：// bucketid/flightdata

例外として、バケットのルートとは対照的に、データを格納するための 'フォルダ'が必要になっているようです。