emr-5.0.0バージョンでs3-dist-cpコマンドに関する問題に直面しています。私のアプリケーションでは、いくつかのファイルをhdfsからS3にプッシュする必要があります。私はこれを達成するためにs3-dist-cpコマンドを使用しています。 emr-4.2.0では正常に動作していました。しかし、emr-5.0.0では動作しません。手動でコマンドを実行すると正常に動作します。しかし、私のアプリケーションでは失敗します。私はemr-5上で実行するために私のアプリケーションで何も変更を加えなかった。EMR5でS3-Dist-Cpが失敗する
emr-5を使用する必要がある場合は、変更する必要がありますか？ emr-5でs3-dist-cpコマンドを使用する方法に変更がありましたか？
私は、次のコマンドを使用しています：
s3-dist-cp --src /user/hive/warehouse/abc.text --dest s3n://bucket/abc.text
あなたはS3-distの-CPのために使用している構文が正しくありません。以下のコマンドでもう一度お試しください。
s3-dist-cp --src hdfs:///user/hive/warehouse/abc.text --dest s3n://bucket/abc.text
これがあなたの了承を解決すれば教えてください。
最初のもの、s3n://は非推奨となりました。S3パスにs3://を使用し始めます。あなたは単にあなたのクラスタ上のローカルファイルからS3にファイルをコピーしている場合
第二に、あなたはaws s3 cpを使用することができます。
aws s3 cp /user/hive/warehouse/abc.text s3://bucket/abc.text
S3-のdist-CPは、マスターノードでのみ使用可能です（ s3-dist-cp.jar）。
以下は、アプリケーションの場所です。
/usr/share/aws/emr/s3-dist-cp/
S3-DIST-cp.jarはスレーブノードでは使用できません。
スレーブマシンにログインして確認することができます。
アプリケーションが失敗した理由は、新しいemrでは、アプリケーションをスレーブにデプロイしてそこから開始するワークフロー管理ツールを使用している可能性があります。 s3 s3-dist-cpは利用できず、失敗します。
作業 アラウンドまずオプション
瓶と使用以下のコマンドをバンドル
hadoop jar s3-dist-cp.jar --src location --dest location
セカンド
ブートストラップ上のS3-のdist-cp.jarsクラスタ
あなたはJavaプログラムとして実行することもできます
質問に間違いを含めると... –
また、AFAIK 's3n'は廃止され、今から' s3：// 'を使用してください – Kristian