JenkinsからEMR糸クラスターにスパークジョブを導入するには？

Question

私は、定期的に実行されなければならない糸を使用してEMRクラスターにいくつかのスパークジョブを持ち、Jenkinsから提出されます。現在、Jenkinsマシンは、コードのコピーが実行されるフォルダ内で準備ができているEMRのマスターノードにsshします。私はジェンキンスワークスペースに自分のレポをクローンして、ジェンキンスのコードをクラスター上で実行することができます。これを行う簡単な方法はありますか？ Jenkinsからスパークを導入する最良の方法は何ですか？

Answer 1

あなたはジェンキンスでのPythonを持っている場合は、Boto3を使用してスクリプトを実装することは良い、簡単に、柔軟で強力なオプションであるジョブ

Answer 2

開始/停止ジェンキンスからのHTTP要求を呼び出すために、このrest apiを使用することができます。

完全なクラスタを作成したり、既存のクラスタにジョブを追加したりするEMR（So Spark）を管理できます。 また、同じライブラリを使用すると、すべてのAWSサービスを管理できます。