2016-07-12 19 views
0

私はLinuxコンソールによってステップを作成しようとしています:予想:エラー、アマゾンAWS EMR

aws emr add-steps --cluster-id j-XXXXXXXXXX --steps Type=CUSTOM_JAR,Name="S3DistCp step",Jar=/home/hadoop/lib/emr-s3distcp-1.0.jar,\ 
Args=["--s3Endpoint,s3-eu-west-1.amazonaws.com","--src,s3://folder-name/logs/j-XXXXXXXXXX/node/","--dest,hdfs:///output","--srcPattern,.*[a-zA-Z,]+"] 

私は次のエラー

エラー解析パラメータは '--steps' ジャンプ: '、'受信: '+'入力の場合

どうすれば修正できますか?

私は、複数のファイルをS3およびS3DistCpにアップロードするためのソリューションを探しています.HiveはAmazon EMR用に集まります。他の方法はありますか?

別の質問があります: 今、私はハイブに接続するためのSSHトンネルを作成しています。どのようにPHPに接続できますか?私はしかし、私は別のエラーを与え、「SRCパターン」を除去することによって、エラーを解決した時点では


、私は

Image error

下の画像を含めるこれは

を表示されるエラーです
INFO Synchronously wait child process to complete : hadoop jar /var/lib/aws/emr/step-runner/hadoop- 
INFO waitProcessCompletion ended with exit code 1 : hadoop jar 
/var/lib/aws/emr/step-runner/hadoop- 
INFO total process run time: 2 seconds 
2016-07-12T14:26:48.744Z INFO Step created jobs: 
2016-07-12T14:26:48.744Z WARN Step failed with exitCode 1 and took 2 seconds 

Thx !!!

+0

をお試しくださいそれが役に立っているかどうかを確認するだけです –

+0

こんにちはフレデリック、私は "srcパターン"を取り除かなければなりません。今はアマゾンではあまり指定されていない別のエラーが出ます(私はイメージの上に上がります) – David

答えて

0

エラー解析が奇妙である、あなたはJSONファイルで、あなたのオプションを配置しようと代わりにJSONファイルを指定して、コマンドを呼び出したJSON構成

[ 
    { 
     "Name":"S3DistCp step", 
     "Args":["s3-dist-cp","--s3Endpoint=s3.amazonaws.com","--src=s3://mybucket/logs/j-3GYXXXXXX9IOJ/node/","--dest=hdfs:///output","--srcPattern=.*[a-zA-Z,]+"], 
     "ActionOnFailure":"CONTINUE", 
     "Type":"CUSTOM_JAR", 
     "Jar":"command-runner.jar"   
    } 
] 

aws emr add-steps --cluster-id j-3GYXXXXXX9IOK --steps file://./myStep.json

http://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html#UsingEMR_s3distcp.step

関連する問題