InputSplits in mapreduce

Question

私はMapreduceの学習を始め、いくつかの質問をしたいと思います。ここに行く：

ケース1：入力形式としてFileInputFormat。処理されるべき複数のファイルを有するディレクトリは、入力パスである。 n個のファイルがある場合、hadoopクラスタ内のブロックサイズより小さいファイルすべてマップの分割数は、ジョブを減らすために計算されますか？

2）MyFileInputFormatというクラスでFileInputFormatを拡張し、isSplitableをオーバーライドして常にfalseを返すようにします。入力設定は上記と同じです。 この場合、n個の分割が得られますか？

3）n個のファイルの中の1つのファイルがクラスタのブロックサイズよりわずかに大きい場合、2番目のケースではn + 1個の分割が得られますか？

ありがとうございました！

Answer 1

は

1. FileInputFormatは、したがって、あなたがそれを直接使用することはできません抽象あるFileInputFormat

   の基本から始めましょう。 "public abstract class FileInputFormat"

2. TextInputFormat（TextInputFormatクラスを拡張したFileInputFormat）のようなInputFormatを使用して質問に答えようとします。

3. FileInputFormatのsplitMethodロジックは、入力パスのファイルごとに適用されるため、MapReduceジョブ（Case1）に「N」分割があります。

4. Case2の場合、inputformatに個々のファイルを分割しないよう通知したので、N個の分割が残っています。しかし、各ファイルについて、それを1つの分割として考えてください。

5. ケース3では、ファイルが分割されていないため、N個の分割が残っています。スプリットロジックは個々のファイルに適用され、それらを一緒に考慮しないことを覚えておいてください。

6. CombineInputFormatは、分割ロジック中に入力ファイルを結合する場合に使用されます。