Amazon Elastic MapReduceに複数のファイルが入力されています

Question

カスタムJARを使用してElastic MapReduce（EMR）でジョブを実行しようとしています。私は約1000のファイルを1つのディレクトリで処理しようとしています。パラメータs3n://bucketname/compressed/*.xml.gzでジョブを送信すると、「一致する0ファイル」エラーが発生します。ファイルへの絶対パス（例：s3n://bucketname/compressed/00001.xml.gz）だけを渡すと正常に動作しますが、1つのファイルしか処理されません。ディレクトリの名前（s3n://bucketname/compressed/）を使用して、そのファイルが処理されることを期待しましたが、そのディレクトリをジョブに渡すだけです。

同時に、私はより小さなローカルハープインストールを持っています。それで、ワイルドカード（/path/to/dir/on/hdfs/*.xml.gz）で私の仕事に合格すると、正常に動作し、1000個のファイルがすべて正しくリストされます。

すべてのファイルを一覧表示するにはどうすればよいですか？

Answer 1

私はEMRは、すべてのファイルを一覧表示方法を知りませんが、ここでは私のために動作するコードの一部です：

 FileSystem fs = FileSystem.get(URI.create(args[0]), job.getConfiguration()); 
     FileStatus[] files = fs.listStatus(new Path(args[0])); 
     for(FileStatus sfs:files){ 
      FileInputFormat.addInputPath(job, sfs.getPath()); 
     } 

これは、入力ディレクトリ内にあるすべてのファイルの一覧が表示されます、とのことができます。あなたがすることにそれらを行う