hadoopのtファイルとdatablockの関係は？

Question

私の理解では、Hadoopは大きなファイルをとり、それを "データブロック"のまとまりとして保存します。これらのデータブロックはTファイルに保存されていますか？データブロックとTファイルの関係は1-1ですか？

Answer 1

HDFSは、大きなファイルを一連のデータブロック（通常は64/128/256/512 MBなどの固定サイズ）で格納します。 1GBのファイルと256MBのブロックサイズを持っているとします - HDFSはこのファイルを4ブロックと表します。名前ノードは、これらのブロックのコピー（またはレプリカ）を持つデータノードを追跡します。

T-Filesは、キーと値のペアを含むファイル形式です。 Hadoopは、HDFSに1つ以上のデータブロックを使用してTファイルを保存します（Tファイルのサイズと定義されたブロックサイズ - システムのデフォルトまたはファイル固有のいずれかに応じて）。

要約すると、HDFSに任意のファイル形式を保存できます。固定サイズのブロックにチャンクされ、クラスタ全体に分散され複製されます。