Hadoopのレデューサーレベルで複製しますか？

Question

還元剤が一時フォルダからコピーしようとすると、中間データ（Mapperによって放出される）の複製が行われますか？

Answer 1

いいえ、マッパーによって発行されたデータは、マッパーマシンのローカルディスク上に存在します。減速機はネットワークを介してそれをコピーします。マッパーノードがコピー中にダウンした場合、またはコピーが開始される前に、新しいマッパータスクが他のノードに生成されます。