EMRアクティビティでデータパイプラインが失敗する

Question

AWSデータパイプラインでスパークステップを実行しようとしています。

amazonaws.datapipeline.taskrunner.TaskExecutionException：EMR変換完全 に失敗しました - ：私は次の例外を取得しています。 amazonaws.datapipeline.activity.EmrActivity.runActivity amazonaws.datapipeline.taskrunner.TaskPoller.executeRemoteRunnerで amazonaws.datapipeline.objects.AbstractActivity.run（AbstractActivity.java:16）で（EmrActivity.java:67） （ATプライベート で amazonaws.datapipeline.taskrunner.TaskPoller $ 1.run（TaskPoller.java:81） でTaskPoller.java:136） でamazonaws.datapipeline.taskrunner.TaskPoller.executeTask（TaskPoller.java:105） 。 com.amazonaws.services.datapipeline.poller.PollWorker.executeWork（PollWorker.java:76） （ ）private.com.amazonaws.services.datapipeline.poller.PollWorker.run（PollWorker.ja v @：53） java.lang.Thread.run（Thread.java:748）原因： amazonaws.datapipeline.taskrunner.TaskExecutionException：EMRジョブ '@ DefaultEmrActivity1_2017-11-20T12：13：08_Attempt = 1' with jobFlowId 'j-2E7PU1OK3GIJI'はステータスが「FAILED」で失敗し、最後のステップが完了した後に「 準備完了」という理由があります。 '：13：DF-0693981356F3KEDFQ6GG_ @ DefaultEmrActivity1_2017-11-20T12 08_Attempt = 1' ステップ ステータスにある位置は amazonaws.datapipeline.cluster.EmrUtil.runSteps（EmrUtil.java:286）に 'NULL' 理由で '失敗しました' amazonaws.datapipeline.activity.EmrActivity.runActivity（EmrActivity.java:63） は...

7以上のクラスタが正常にスピンアップなっています。ここで

は、パイプラインのスクリーンショットです： -

私が活動の「ステップ」といくつかの問題があると思います。どんな入力が役に立つでしょう。

Answer 1

問題は、 - 1）スクリプトがカンマで区切られている必要があります。何かのように： -

command-runner.jar,spark-submit,--deploy-mode,cluster,--class,com.amazon.Main 

リンク： - http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emrcluster.html

2）EmrActivityがステージングをサポートしていません。したがって、ステップ命令で${INPUT1_STAGING_DIR}を使用することはできません。現在、私はこれをハードコードされたS3 URLに置き換えました。