Hadoop Mapperクラスの入力パスを取得

処理ログ用に単純なMapReduceプロジェクトをHadoopに実装しました。入力パスは、ログがあるディレクトリです。Hadoop Mapperクラスの入力パスを取得

これはうまく動作しますが、Mapperを実装しているクラスでいつでもログの入力パスがどのように処理されているかを知りたいと思います。 Mapperコードは次のとおりです。

public class StatsMapper extends MapReduceBase implements Mapper<WritableComparable<Text>,Text,Text,Text> { 

    public static final Log LOG = LogFactory.getLog(StatsMapper.class); 

    public void configure(JobConf conf) {} 

    public void map(WritableComparable<Text> key, Text value, OutputCollector<Text,Text> output, Reporter reporter) 
      throws IOException { 

     process(key,value); 

    } 

}

事前

出典

2011-03-07 supersoft

を読んRecordReaderオブジェクトのファクトリを提供しますタスクにファイルを分割InputSplitsを定義します「ログの入力パスがどのように処理されているか」はどういう意味ですか？ –

で

おかげでのInputFormatセクションこれらの入力ファイルが分割されているとのInputFormatによって定義される読み出し方法here

をお読みください。 InputFormatは、以下の機能を提供するクラスです：が入力ために使用されるべきファイルやその他のオブジェクトを選択し、ファイルに

出典

2011-03-07 22:31:07 yura

ありがとう、それはまさに私が探していたものです;） – supersoft

Hadoop Mapperクラスの入力パスを取得

答えて

関連する問題