クラウド上のClouderaアーキテクチャの説明（Azure）

Question

私はHadoop/Clouderaの世界に新しく、Microsoft Azureクラウド上にClouderaクラスタをセットアップする必要があります。 私が正しく理解していれば、クラスターにClouderaをインストールするには2つの方法があります：Cloudera Managerを使用するか、手動でインストールしてください。 このスキーマによれば、Cloudera Managerと3つのマスターノード専用のマシンが必要と思われます。

しかし、この表では、私がマスターノード上で直接ClouderaのManagerをインストールすることができそうです。だからここ

は私の疑問/質問です：

• 1）それは専用マシン （そうであれば、なぜ）でClouderaのマネージャーを持っていることが必要ですか？または、マスターノードに直接インストールできますか？
  
• 2）なぜ3つのマスターノードがあるのですか？私が理解したところでは、2台のマスター ノードを高可用性のために使用できます（これらはそれぞれ同じ構成とサービスを持つ のミラーであり、 ホットスイッチ用に使用できます）。 3番目のマスターノードの目的は何ですか？それはなぜ が他の2つと異なるのですか？
  
• 3）Cloudera Directorの目的は何ですか？また、Cloudera Manageraとの相違点は ですか？私はそれが雲への自動展開のために を使用することができることをお読みになりましたが、正確に私がそれを使用できるものは のために私には明らかではありません。
  

ありがとうございます。

Answer 1

あなたは、マスターノードの様々な数がクラスタサイズと高可用性の要件に応じて持つことができるhttps://www.cloudera.com/documentation/enterprise/5-8-x/topics/cm_ig_host_allocations.htmlでClouderaのドキュメントから見ることができます：最大10個のワーカーノードを持つとない小さなクラスタの

• 高可用性、あなたは2つのマスターノード
• を持つことができます（200個のワーカーノードまで）大きなクラスタは3つのマスターノードを持つことができ、高い可用性を持つ小さなクラスタのためのただ一つのマスター（生産にはお勧めしません）
• を持つことができます - その例では、2つのNameNode iこの目的のために過半数を投票するのではなく、より多くのノードに作業負荷を分散することを目的としています。
• 5つのマスターを持つ最大1000のワーカーノード。

同様に、上記の最初の2つのケースでは、Cloudera Managerで使用されるユーティリティーホストがすべてのユーティリティーとエッジの役割に使用され、クラスターのサイズが大きくなるにつれてユーティリティーホストが表示されますケースがそのホスト上で実行される唯一のユーティリティです。

https://www.cloudera.com/products/product-components/cloudera-director.htmlはパブリッククラウド（AWS/Azure/Google Cloud）でHadoopクラスタを実行するのに役立つツールであるCloudera Directorを記述しています。 Cloudera DirectorはCloudera Managerを使用して、クラウドクラスタの集中管理を提供しています。https://www.cloudera.com/documentation/director/2-2-x/topics/director_cdh_cluster_management.htmlは、Cloudera DirectorとCloudera Managerの違いの参考にもなります。