ファイルやディレクトリは、HadoopのHDFSに

Question

を格納し得ているどのように私は、コマンド

hdfs dfs -touchz /hadoop/dir1/file1.txt 

下に使用してHDFSにファイルを作成している私は、コマンドの下

hdfs dfs -ls /hadoop/dir1/ 

を使用して作成したファイルを見ることができた。しかし、I linuxコマンドを使用して（findまたはlocateを使用して）場所自体を見つけることができませんでした。私はインターネットで検索し、次のリンクを見つけました。 How to access files in Hadoop HDFS?。 hdfsは仮想ストレージです。その場合、メタデータが格納されているところで、どれくらいの量のパーティションを使うか

hdfs-site.xmlで言及した仮想ストレージ用のdatanodeの場所をすべて格納するのですかデータ？

私はdatanodeの場所を調査し、利用可能なファイルがあります。しかし、私が作成したファイルやフォルダに関連するものは見つけられませんでした。

（私はHadoopの2.6.0を使用しています）保管場所は、仮想であり、すべてDataNodesからのディスクスペースを使用して作成された、請求

Answer 1

HDFSファイルシステムは、分散ストレージシステムです。 hadoopのインストール中に、dfs.namenode.name.dirとdfs.datanode.data.dirのパスを指定する必要があります。これらは、すべてのHDFS関連ファイルが個々のノードに格納される場所です。

HDFSにデータを保存するとき、データは指定されたサイズ（Hadoop 2.Xではデフォルトで128MB）のブロックとして保存されます。 hdfs dfsコマンドを使用すると、完全なファイルが表示されますが、内部的にHDFSはこれらのファイルをブロックとして保存します。ローカルファイルシステム上の上記のパスをチェックすると、HDFS上のファイルに対応する一連のファイルが表示されます。しかし、ブロックに分割されているので、実際のファイルとは見なされません。

仮想HDFSストレージを作成するために各DataNodeからどれくらいのスペースが使用されているかの詳細については、以下のコマンドの出力を確認してください。

hdfs dfsadmin -report #Or

sudo -u hdfs hdfs dfsadmin -report

HTH