HDFSの変更を維持するための編集ログが必要な理由

Question

HDFSの変更を書き留めておくメディエーターが必要なのはなぜですか。変更を直接FSimageに書き込むことができないのはなぜですか？なぜ我々はその中間にメディエーターが必要なのか？親切に助けてください

Answer 1

チェックポイント時に使用されます。

一般的な編集範囲は10〜100秒ですが、十分な編集時間が過ぎると蓄積されて扱いにくくなります。これらの大きな編集ログからいくつかの問題が発生する可能性があります。極端な場合には、ノード上の使用可能なディスク容量をすべて満たすことができますが、もっと慎重に、大きい編集ログはNameNodeの起動を大幅に遅延させ、NameNodeはすべての編集を再適用します。これはチェックポイントが入る場所です。

チェックポイントは、fsimageとログを編集し、それらを新しいfsimageに圧縮するプロセスです。こうすることで、潜在的に無制限の編集ログを再生する代わりに、NameNodeは最終的なメモリ内状態をfsimageから直接読み込むことができます。これははるかに効率的な操作であり、NameNodeの起動時間を短縮します。

ただし、新しいfsimageを作成すると、I/OおよびCPUを大量に消費するため、数分で実行することがあります。チェックポイント中、ネームシステムは他のユーザーからの同時アクセスを制限する必要もあります。したがって、チェックポイントを実行するためにアクティブなNameNodeを一時停止するのではなく、NameNodeの高可用性が設定されているかどうかに応じて、SecondaryNameNodeまたはStandby NameNodeのいずれかにHDFSが保留します。チェックポイントのメカニズムは、NameNodeの高可用性が設定されているかどうかによって異なります。我々は両方をカバーします。

詳細はlinkを参照してください。