クラスタ内の異なるデータノードに対して異なる記憶容量を持つことは可能ですか？

Question

異なる容量のノードをHadoopクラスタに追加することは可能です。

例：

Data Node 1 - 1 TB Disk space, 20 GB memory 
Data Node 2 - 5 TB Disk space, 30 GB memory 
Data Node 3 - 60 TB Disk space, 50 GB Memory. 

Answer 1

ことが可能です。しかしこれのためには、物理​​的なハードディスクとは異なるサイズが必要です。

conf内のデータノードを使用するハードディスクのサイズを定義することはできません。ファイル。したがって、ディスク・スペースを異なるサイズにしてデータ・ノードで使用する場合は、異なる容量のハード・ディスクを使用することでこれを実現できます。

ただし、ブロックサイズは個々のノードではなくクラスタ全体に対して定義されるため、すべてのデータノードでブロックサイズは同じになります。