Hadoopフレームワークがマップジョブを実行するノードを決定する方法

Question

私の理解によると、HDFSに格納されたファイルはブロックに分割され、各ブロックは複数のノードに複製されます。 Hadoopフレームワークは、特定のブロックが複製されるすべてのノードのうち、マップジョブを実行するノードをどのように選択しますか。

Answer 1

私が知っているように、ブロック量と同じ量のmapタスクがあります。

マニュアルhereを参照してください。

通常、フレームワークはmapタスクのネットワーク帯域幅を減らすために、入力ブロックに近いノードを選択します。

それはすべて私が知っている。

Answer 2

Mapreduce 1では、マップタスクの数がMR1で固定されているため、マップノード1ではレプリカをホストするデータノードで実行されているマップタスクの数によって異なります。 MR2には固定スロットがないため、そのノードですでに実行中のタスクの数によって異なります。