0
私は現在、社内プロジェクトのためにHadoop 1.0.2を評価中です。HadoopのNameNode、Checkpoint Node、Backup Nodeを使用する際の賛否両論は何ですか?
Hadoopのドキュメントには3つのオプションはであり、彼らはを何をすべきかが、私はトラブルに関する情報を見つけるのを抱えているかについての情報はあり
と言います3つのオプションのうちが推奨されているのはです。
私は現在、社内プロジェクトのためにHadoop 1.0.2を評価中です。HadoopのNameNode、Checkpoint Node、Backup Nodeを使用する際の賛否両論は何ですか?
Hadoopのドキュメントには3つのオプションはであり、彼らはを何をすべきかが、私はトラブルに関する情報を見つけるのを抱えているかについての情報はあり
と言います3つのオプションのうちが推奨されているのはです。
基本的に、チェックポイントノードはセカンダリネームノードの新しい実装であり、バックアップポイントはネームノードのウォームスタンバイへの途中での暫定リリースです(現在のところ、読み取りと書き込みを分離することでパフォーマンスが少し向上します)書き込み - 名前のノードに読み込み、コンスタンチンShvachkoで説明したように、バックアップノードBackupnode documentationから
に書いている:
このパッチは、名前のノードの二つの新しいタイプの紹介:チェックポイントノードとバックアップノードを。
- イメージと編集ファイルによって、チェックポイント名ノードメタデータに対するチェックポイントノードの役割。
- バックアップノードは、 システムメタデータのオンライン更新を受信し、メモリ状態に適用し、 のディスクをname-nodeと同じように保持することによって、Checkpointerの機能 を拡張します。したがって、いつでもバックアップノード には、メモリ内とローカルディスクの両方に名前空間の最新のイメージが格納されます( )。これにより、バックアップノードがアクティブな ネームノードからファイルを転送する必要がなく、編集を再生(マージ)する必要がないため、さらに効率的なチェックポイント が得られます。
- アクティブが切断された場合、クラスタが新しい名前ノードに切り替えることができる場合、用語スタンバイノード は、バックアップノードの機能性をさらに拡張するために予約されています( )。これは設計書の "ウォームスタンバイ条項"セクション に記載されています。
典型的な使用例:
- 実行チェックポイントノードのみチェックポイントを作成します。現在のSecondaryNameNodeの代わりに を使用してください。これは パッチで廃止されました。私はこの努力が無駄ではない だったので、SecondaryNameNodeコードを大量に再利用しました。ただ進化しました。
- オンラインバックアップをサポートするためにバックアップノードを実行して、 編集のストリーミングと効率的なチェックポイント設定をサポートします。これは、特に を対象に、NFSを編集用のリモート記憶域として除外します。
- 永続ストレージを持たないNameNode を実行し、すべての "永続的な" 機能をバックアップノードに委任します。ここでのトリックは、-importCheckpointオプションを使用して名前ノード を起動してから、バックアップノードを実行することです。