Cloudera ClusterデプロイメントブートストラップがDirectorを使用してEC2でエラーに失敗しました

Question

EC2にCloudera DirectorとCloudera Managerを正常に導入しました。私はブラウザからディレクターとマネージャの両方のインスタンスにアクセスでき、それらのインスタンスに対してsshを実行できます。 Cloudera Managerのサーバとエージェントは正常に動作しており、次のコマンドを実行してチェックしています。

次のステップは - クラスタを展開したいです。しかし、その失敗と私はBootstrap failed errorを取得しています。私はディレクターにapplication.logでファイルをチェックして例外を発見した - によって引き起こさ：

java.net.ConnectException：でConnectException呼び出します。http：//：/ V6 /コマンドは/ 158 7180/API：接続が拒否されました（接続が拒否されました）

サービスの状態を確認した後、クラスタの展開中にcloudera-scm-managerサービスが停止していることがわかりました（cloudera-scm-server）。しかし、クラスタを展開する前に、cloudera-scm-serverサービスが稼動していることを確認しました。

私はt2 smallとm4 largeインスタンスタイプの両方を使用してクラスタの回数を展開しようとしました。同じ例外が発生しています。

エラーが発生した後、cloudera-scm-serviceを再起動すると起動して正常に動作します。しかし、クラスタの展開中に自動的に停止し、クラスタの展開に失敗すると思います。どうやって、そしてなぜ？

何が問題なのでしょうか？誰かがこの問題を解決するためのあらゆるポインタ/ヘルプを提供できますか？次のように展開するために使用

バージョンの詳細 -

• Clouderaの監督バージョン - 2.4.1
• ClouderaのManagerバージョン - 5.11.1
• EC2インスタンスは、 - T2小およびM4大きいインスタンスの両方を試みましたタイプ。
• EC2インスタンスOS - RHEL 6.7、64ビット
• 選択されたクラスタの設定 - 1つのマスタ、1つのワーカー、1つのゲートウェイ
• クラスタサービスが選択された - YARNにスパークを有するコアのHadoop（これは、以下のサービスを含む - HDFS、ハイブを、色相、おおじ、スパーク、YARN、YARN、ZooKeeper）

この問題を解決するためのヘルプ/入力/ポインタがあれば幸いです。

ありがとうございます。

-picku

Answer 1

Picku

あなたの症状に基づいて、私の最初の推測では、あなたのCMのインスタンスが小さすぎるということです。 Linuxには、OSが動作するのに十分なメモリがない場合、任意のプロセスを終了させるOOM Killerがあります。これは、おそらくcloudera-scm-serviceが実行中ではないと思われる理由です。あなたは/ var/log/messagesを見て、OOM Killerに関係する「煙草」を見つけることができると信じています。

インスタンス型の推奨事項については、AWSデプロイメントのClouderaエンタープライズリファレンスアーキテクチャを参照してください。 http://www.cloudera.com/documentation/other/reference-architecture/PDF/cloudera_ref_arch_aws.pdf

Good Luck！ David