ClouderaでのHDFSメモリの拡張

Question

clouderaでhdfsメモリを50GBから200GBに拡張する必要があります。 私は300 GBのフリースパージでvmを使用していますが、hdfsはhdfsで50 GBを使用するようにのみ設定されています。

[root@localhost conf.cloudera.hdfs] hdfs dfsadmin -report 
Configured Capacity: 55531445863 (51.72 GB) 
Present Capacity: 6482358272 (6.04 GB) 
DFS Remaining: 3668803584 (3.42 GB) 
DFS Used: 2813554688 (2.62 GB) 
DFS Used%: 43.40% 
Under replicated blocks: 0 
Blocks with corrupt replicas: 0 
Missing blocks: 0 

私は何をすべき： 私dfs.namenode.name.dirは-reportをdfsadmingデフォルトのDFS/NN

<name>dfs.namenode.name.dir</name> 
    <value>file:///dfs/nn</value> 

そして、私のHDFSに指摘されたが、私与えますか？ Redhatのフォルダ容量の上限はありますか（たとえば、作成されるフォルダごとに50GBと言います）？ dfs.namenode.name.dirに新しいフォルダを追加する必要があり、各フォルダはhdfsの使用量に50GBを追加しますか？以下のリソースから

Answer 1

- あなたが各ノードに対してdfs.datanode.du.reserved設定をチェックし、ディスクの空き容量が正しく利用されているかどうかを確認するには、以下の式を使用する必要があるようだ...プロパティを1として

「dfs.datanode.du .reserved "に設定した場合、 は4.25 GBを使用するように設定されているため、与えられたノード内の各データディレクトリ に対して4.25 GBが割り当てられたと考えます。私は2つのデータディレクトリ パーティションを持っていたので、予約されたスペースはノードあたり8.5GB、 となり、各ノードの設定容量は23.5GB（32GB - 8.5GB）になります。私は、データディレクトリ（dfs.data.dir）用に割り当てられ、次の式===>設定されたキャパシティ=合計ディスク容量に到着 - 非DFSの使用のために予約された空間

Configured-Capacity-quot-shows-less-size-than-the-original（dfs.datanode.du.reserved）

what-exactly-non-dfs-used-means

更新：also see...

dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold - dfs.datanode.fsdataset.volume.choosing.policyが01に設定されている場合にのみ使用。 - この設定は、不均衡と見なされる前に空きディスク容量のバイト数で区別できるDNボリュームの量を制御します。すべてのボリュームの空き領域がこの範囲内にある場合、ボリュームは均衡しているとみなされ、ブロック割り当ては純粋なラウンドロビン単位で行われます。

dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction - dfs.datanode.fsdataset.volume.choosing.policyがorg.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicyに設定されている場合にのみ使用されます。 - この設定は、新しいブロック割り当てのうち、使用可能なディスク容量が他のボリュームよりも多いボリュームに送信される新しいブロック割り当ての割合を制御します。この設定は、0.0〜1.0の範囲にする必要がありますが、実際には0.5〜1.0にする必要があります。使用可能なディスク容量が少ないボリュームの方が多くのブロック割り当てを受け取る必要があるからです。