Pythonを使用してHDFSディレクトリ内のファイルを読み取る方法

Question

Pythonを使用してHDFS内のディレクトリ内のファイルを読み込もうとしています。私は以下のコードを使用していますが、エラーが発生しています。

コード：

cat = Popen(["hadoop", "fs", "-cat", "/user/cloudera/CCMD"], stdout=PIPE) 

がエラー：

cat: `/user/cloudera/CCMD': Is a directory 
Traceback (most recent call last): 
    File "hrkpat.py", line 6, in <module> 
    tree = ET.parse(cat.stdout) 
    File "/usr/lib64/python2.6/xml/etree/ElementTree.py", line 862, in parse 
    tree.parse(source, parser) 
    File "/usr/lib64/python2.6/xml/etree/ElementTree.py", line 587, in parse 
    self._root = parser.close() 
    File "/usr/lib64/python2.6/xml/etree/ElementTree.py", line 1254, in close 
    self._parser.Parse("", 1) # end of data 
xml.parsers.expat.ExpatError: no element found: line 1, column 0 

更新：

私は私私のHDFSディレクトリに10-15 xmlファイルを持っています欲しいパースする。私は1つだけのXMLがディレクトリに存在するときにxmlを解析することができますが、すぐに私はxmlを解析することができない複数のファイル数を持っている。このユースケースでは、私は私のディレクトリから1つのファイルを解析することができるようにpythonコードを書きたいと思います。

Answer 1

例外は、ディレクトリ上のファイル操作を実行しようとしているcat: '/user/cloudera/CCMD': Is a directory

です。ファイルのパスをコマンドに渡します。代わりにsubprocessで

このコマンドを使用し、

hadoop fs -cat /user/cloudera/CCMD/filename 

Answer 2

あなたはディレクトリ内のすべてのファイルの読み取りには、ワイルドカード文字*を使用することができます。

hadoop fs -cat /user/cloudera/CCMD/* 

それとも、xmlファイルの読み込みを：

hadoop fs -cat /user/cloudera/CCMD/*.xml