HDFSレプリケーションファクタはどのように決定されますか？

Question

HDFSのレプリケーションファクタは少なくとも3でなければなりません.3にすることの主な目的はフォールトトレランスであり、ラック障害の可能性はノード障害の可能性よりもはるかに低いです。レプリケーションファクタの背後にあるもう1つの理由は少なくとも3であることでしょうか？

Answer 1

レプリケーションファクタが3でなければならない理由はありません。これは、hadoopに付属するデフォルトです。 HDFSの各ファイルごとに複製レベルを個別に設定できます。レプリカを持つフォールトトレランスに加えて、同じデータを消費するジョブを並行して実行することができます。また、データの複製がある場合、hadoopは同じタスクの複数のコピーを実行し、最初に終了することを試みることができます。何らかの理由でボックスが遅い場合に便利です。