ローカルノードにも同じパスが存在する場合、HDFSは混乱します

Question

私はCDH 5.4.1クラスタによって提供されたhadoopを使用しています。 私が直面している問題は、path/tmp/dataを持つhdfs上のディレクトリがあることです。 abc.csvというファイルがあります。 この同じフォルダは、ノードの1つ（ノード1）のローカルlinux fsまた、csvファイルxyz.csvを含んでいます。

node1から次のコマンドを実行しているとき：hdfs dfs -ls /tmp/data/*.csv出力にabc.csvが表示されると予想していますが、 ls： `/ tmp/data /xyz.csv '：そのようなファイルやディレクトリはありません ローカルのLinux fsで同じフォルダパスを持っていない他のノードでも、同じコマンドを実行すると正しい出力が得られます。

私はhdfsコマンドを使用していたので、hadoopはdfsスペースだけを見てローカルLinuxのfsと混同しないようにしていましたが、間違っているようです。

この現象の背景には、何が原因である可能性があるかについての情報を提供してください。

Answer 1

けれどもあなたはバッシュの効果を見ている、CDHまたはHDP管理された環境内で設定（または任意選択のあなたのシェル）する必要があります。ローカルファイルシステム上に/tmp/data/xyz.csvというファイルがあります。したがって、実際に呼び出されるコマンドはhdfs dfs -ls /tmp/data/xyz.csvです。 xyz.csvはHDFSクラスタに存在しないため、ファイルが見つからないと報告されます。

あなたはグロブ拡大を防ぐために、単一引用符であなたの引数をラップすることにより、この問題を回避することができます

> # local file system 
> ls /tmp/data/*.csv 
/tmp/data/xyz.csv 

> # attempting to check HDFS, but wildcard expansion happens before invoking command 
> hdfs dfs -ls /tmp/data/*.csv 
ls: `/tmp/data/xyz.csv': No such file or directory 

> # wrap in single quotes to prevent globbing expansion 
> hdfs dfs -ls '/tmp/data/*.csv' 
-rw-r--r-- 3 naurc001 supergroup   0 2017-02-02 11:52 /tmp/data/abc.csv 

Answer 2

私の理解では、以来、私はHDFSのDFSを使用していますということでしたがHadoopのが唯一のDFS空間に見ていないしなければならないコマンドが正しくセットアップあなたのHadoopクライアントXMLをした場合にのみ、ローカルのLinux FS

で混乱設定ファイルはhdfs:// URIを使用するようにしていないfile://コア-site.xmlの中

、fs.defaultFSのデフォルト値はfile://

---

0であります

は、この値は正しくグロブとHDFSコマンドに引数を渡す前に、ワイルドカードを展開し