EMRクラスタのすべてのノードでシェルスクリプトを実行する方法は？

Question

実行中のEMR hadoopクラスタのすべてのノードでシェルスクリプトを実行する適切な方法はありますか？

私が探しているものはすべて、ブートストラップアクションを引き起こしますが、これはクラスタの起動時にのみ適用され、実行中のクラスタでは適用されません。

私のアプリケーションはPythonを使用しているので、私の現在の推測では、botoを使用してクラスタ内の各ノードのIPをリストし、各ノードをループしてssh経由でシェルスクリプトを実行します。

良い方法がありますか？

Answer 1

クラスタがすでに起動している場合は、の手順を使用する必要があります。

以降の手順はで実行されるため、技術的には探しているようです。

ステップはマスターノードでのみ実行されるので、ノードの残りの部分に接続して修正する必要があります。

手順もスクリプトですが、クラスタの マスターインスタンスグループ内のマシンでのみ実行されます。このメカニズムにより、Zookeeperのようなアプリケーションは がマスターインスタンスを構成でき、 はHbaseやApache Drillのようなアプリケーションで を設定できます。

Reference

もthisを参照してください。