ハープープのマッパーごとに1つまたは複数のファイル？

Question

マッパーは複数のファイルを同時に処理するか、マッパーは一度に1つのファイルしか処理できませんか？ - へのパスを追加

addInputPath（JobConf confに、パスパス）：私はあなたがFileInputFormatの定義に行く場合は、一番上にそれを見るだろう

Answer 1

• 一般的なMapreduceジョブは、デフォルトでマッパーごとに1つの入力分割に従います。
• ファイルサイズが分割サイズより大きい場合（つまり、1つの入力分割よりも が多い場合）、ファイルごとに複数のマッパーになります。
• ファイルがGzip ファイルのように分割できない場合、またはプロセスがDistcpの場合、ファイルが細かいレベルの粒度である場合は、マッパーごとに1つのファイルです。

Answer 2

それは3つのメソッドを持っているデフォルトの動作を知りたいですmap-reduceジョブの入力リスト。だから、それはあなたが

addInputPathRecursively（リスト結果、ファイルシステムFS、パス、パス、PathFilter inputFilter）を言うように、カタログ内のすべてのファイルではなく、単一のものをピックアップします - 結果に再帰的に入力されたパスにファイルを追加します。

addInputPaths（JobConf confに、文字列のcommaSeparatedPaths） - あなたは簡単にセットアップしたい任意の複数の入力をすることができ、これらの3つのメソッドを操作する仕事

を地図削減のための入力のリストに与えられたカンマ区切りのパスを追加します。 InputFormatのInputSplitsは、このデータをマッパージョブに分割し始めます。 Map-Reduceフレームワークは、ジョブのInputFormatを使用して次のことを行います。

• ジョブの入力仕様を検証します。

• 入力ファイルを論理InputSplitsに分割し、それぞれのファイルを個別のMapperに割り当てます。

• Mapperによる処理のために、論理InputSplitからの入力レコードを収集するために使用されるRecordReader実装を提供します。

技術的には、単一のマッパーは、複数のファイルからのデータを含むことができる独自の部分だけを処理します。しかし、特定のフォーマットごとに、データがマッパー全体にどのように配分されるかを理解するためにInputSplitを調べるべきです。