2016-11-27 2 views
1

最初の質問:スプリットがどのような意味でブロックを変更するか(サイズの変更、ブロックの別の場所への移動、新しいブロックの作成など)を知りたいのですが。HaddopのFileSplitのような分割はブロックを変更しますか?

第2の質問:ブロックを変更するわけではないが、DataNodeが既に実行されブロックを持っているため、各MapTaskが存在し、私が考える分割は、データを含むノードの横にMapTaskを実行するようにHadoopに指示します。注意:InputSplitの内部には、この目的のために考える場所/ホストがあります。 私が間違っている場合

第三の質問に私を修正してください:最初は実際にタスクを実行する前に、ブロックはMapTaskがあるかMapTaskは、ブロックはデータノードの(すなわち場所どこに移動する場所に移動します)?あなたの第一及び第二の質問について

答えて

0

ブロックは分割と変わりません。当初は実際に実行する前に:入力分割を準備するには、データノードのブロックからいくつかのデータは、(データが複数のデータブロックの間で重複している場合)、マップタスクが

第三の質問を実行取得されている他のデータノードにコピーすることができますタスクは、ブロックがMapTaskの位置に移動するか、MapTaskがブロックの位置(つまりDataNodeの位置)に移動しますか?

MapTaskはデータノードA /ブロック-Aからデータをフェッチし、データノードA /ブロック-Aのデータの一部は、データノードB /ブロック-Bにわたる、そのブロック-Bからのデータがコピーされた場合マッパー(DataNode-A)。 、感謝を

How does Hadoop perform input splits?

+0

グレート答え:

が入力をより良く理解するために以下の質問を参照してください&データブロックを分割します。 –

関連する問題