Medium Hadoop/Spark Cluster Administration

Question

この質問が別のチャネルに適しているかどうか教えてください。しかし、推奨されるツールが、多数のリモートでhadoop/sparkのインストール、設定、展開ができるかどうか不思議でしたサーバー。私はすでにすべてのソフトウェアを設定する方法に精通していますが、私はそれを使用して何をすべきかを判断しようとしています。私は設定管理ツール（シェフ、パペット、アシスタント）に目を向け始めましたが、最初から最も使いやすいユーザーフレンドリーなオプションがそこにあるのだろうかと思っていました。私もspark-ec2を使いたくありません。 IPを含むホストファイルをループするための自作スクリプトを作成する必要がありますか？ psshを使うべきですか？ pscp？私は、必要なだけ多くのサーバーでsshを実行し、すべてのソフトウェアをインストールできるようにしたいと考えています。

Answer 1

スクリプト言語の経験がある方はシェフに行くことができます。レシピはすでにクラスタの展開と設定に使用でき、非常に簡単に始めることができます。

あなた自身でそれをやりたければ、リモートサーバ上でスクリプトを実行するsshxcute java APIを使うことができます。その中のコマンドをビルドしてsshxcute APIに渡して、クラスタをデプロイすることができます。

Answer 2

Apache Ambariをご覧ください。 configsの集中管理、新しいノードの追加、クラスタの監視などのための素晴らしいツールです。これが最善の策です。