計算バインド深い分析とI/Oバインドされた大きなデータの両方をサポートする必要がある大きなクラスタ（10kコア）のディメンションを見ています。大きなデータクラスタを構築した人から聞きたいことがあります計算とローカルディスクストレージのディメンションに使用されます。私は、オンラインMapReducedベースのデータウェアハウスによって提唱された直接接続型ストレージアーキテクチャを想定しています大規模なHadoopクラスタの計算能力とストレージ容量の典型的な関係は何ですか？
デュアルXeon 5650などの中密度ブレード装置anno 2012を見ると、サーバーあたり約2TBを直接接続ストレージ。それは、2TBのストレージあたり約100TFlops、つまり5：1の比率になります。低密度機器は1：1のように低く、高密度機器は10：1ほど高くすることができます。
私は、他の大きなデータの人々がどのような比率で実行しているのか聞いてみたいと思います。
2011年9月付けのHortonWorksでのEric BaldeschwielerからPraveenさんの第三の記事から：
我々は、Apache Hadoopのワーカーノードのハードウェアを選択する方法について多くの質問を尋ねます。ヤフーでは、デュアルソケット構成で、6 * 2TB SATAドライブ、24GB RAM、8コアの多数のノードを購入しました。これはかなり良い構成であることが証明されています。今年は、デュアルソケット構成で12 * 2TB SATAドライブ、48GB RAM、8コアのシステムを見てきました。今年は3TBドライブへの移行が見込まれます。
特定の組織にとってどのような構成が適しているかは、ワークロードのストレージ対コンピュータの比率や一般的な方法では回答できないその他の要因のような比率によって決まります。さらに、ハードウェア産業は迅速に動く。この記事では、ここ6年間でHadoopのハードウェア構成の選択を一般的に指導してきた原則の概要を説明します。これらの考えはすべて、中〜大規模なApache Hadoopクラスタの設計を目的としています。先日、Apacheのメーリングリストで、小規模なクラスタ向けのより小さいマシンのために、Scott Carey氏が優れたケースを作りました。
3番目の記事には回答があります – Ravenwater