マップ/リダクションが使用しているデータノードがダウンするとどうなりますか?ジョブを別のデータノードにリダイレクトする必要はありませんか?私のコードはこの例外条件をどのように処理すべきですか?マップ/リダクション中に死んだデータノードを処理する方法
2
A
答えて
1
datanodeがダウンすると、そのノードで実行中のタスク(タスクトラッカーとしても使用していると仮定します)は失敗し、これらの失敗したタスクは他のタスクトラッカーに割り当てられて再実行されます。デッドデータノードで失われたデータブロックは、クラスタ間でデータが複製されるため、他のデータノードでも使用できます。したがって、たとえデータノードがダウンしたとしても、失敗したタスクの再実行での非常に短い遅延を除いて、いかなる損失もありません。これらはすべてフレームワークによって処理されます。あなたのコードはこれを心配する必要はありません。
1
これは、主にHDFSレプリケーションに依存します。 1より大きい場合、ジョブは「ダウン」されたサーバー上にないブロックを要求します。有効なレプリケーションがあれば、ジョブにストリーム配信され、ジョブは新しいブロックで再度実行されます。
私のコードはこの例外条件をどのように処理する必要がありますか?
ジョブ全体が失敗した場合でも、このような例外は発生しません。この場合、ジョブのスケジュールを変更して、データノードが復旧することを期待できます。
関連する問題
- 1. 死んだサービスでDeadObjectExceptionを処理するには?
- 2. androidアラームがonReceive中に死んだ
- 3. アプリが死んだときにアラームマネージャを管理する方法(Android)
- 4. 処理中にコントロールの更新を処理する方法は?
- 5. カサンドラ - 死んだノードを削除する方法
- 6. 死んだiOSデバイスのUDIDを取得する方法は?
- 7. 死んだResultReceiverに応答するIntentService
- 8. 私のサイトのクローラが実行中に死んだ
- 9. 処理中にCruiseControl.NETにタスク名を表示する方法
- 10. Linuxでリモートコマンドを実行中にエラーを処理する方法
- 11. Android:DrmManagerサーバーが死んだ
- 12. SSL接続の途中での処理を処理する方法
- 13. ゲーム中にiPhoneの「ローバッテリー」のポップアップを処理する方法
- 14. スプリントプランニング中にチケットを処理する方法
- 15. ASP.NETリクエストのライフサイクル中に例外を処理する方法
- 16. シグナルの処理中に同じシグナルをブロックする方法は?
- 17. .NETリモート処理中にカスタムシリアル化を使用する方法?
- 18. 長いシャットダウン中にサーブレットリクエストを処理する方法
- 19. 修正方法:ログイン処理中のSQLException
- 20. Hiveを使用して歪んだデータを処理する方法は?
- 21. サーブレットの作業中に中間(待機/処理)ページを設定する方法
- 22. EINTR(中断されたシステムコール)を処理する方法
- 23. 大量の保留中の要求を処理する方法
- 24. オーディオの中断を正しく処理する方法は?
- 25. 処理中のSSAS Cubeを確認する方法は?
- 26. Mongoose DB接続の中断を処理する方法
- 27. AVPlayer:ネットワークの中断を処理する方法
- 28. 死んだサービスを自動的に再起動するには?
- 29. ajax関数の処理中にajax関数を処理する
- 30. 処理スケッチをタブで処理中JS
Hmm ...私の複製はinfact 3であり、テスト中に2つのデータノードをダウンさせましたが、次にこれを取得します:INFO hdfs.DFSClient:任意のノードからブロックblk_7178702856169522439_8519を取得できませんでした:java.io.IOException:現在のブロックを含むライブノードはありません。 – Meg
複製が完全に完了していません。 –