実行中のマップタスクはreduceタスクを遅くしますか?減速すると、彼らは共通のリソースを共有していますか?map/reduceの間でリソースを共有
2
A
答えて
0
もちろん、彼らはシステムに何らかの影響を与えます。それらは両方とも同じマシン上で実行されているJavaプロセスです。しかし、最近のシステム構成では、スロット数で何か愚かなことをしない限り、それほど大きな問題ではありません。
各マップタスクまたはリダクションタスク自体はマルチスレッドまたはマルチプロセスではないため、主に1つのCPUコアしか使用しません。これは、一般的な経験則が1マップであるか、コアあたりのスロット数を減らすことが意味をなさない理由です。だから、もしあなたが12コアを持っていれば、8つのマップスロットと4つのスロットを減らすことができます。
また、タスクは同じディスクを共有する予定ですが、通常はシステムに複数のディスクがあり、ディスクアクセスがバースト的になるため、これは大きな問題ではありません。
最高の構成を理解する最も良い方法は、さまざまな構成を試してみることです。スロット数を設定するのは難しいことではありませんので、調整してからプロダクション代表のジョブを再実行してください。
一度に1つのジョブしか実行していない場合、マッパーが実行されている間は、レジューサーはあまり効果がないことに注意してください。どちらの場合でも、実際には互いに影響しません。より現実的には、いくつかのジョブを実行して、あるジョブのマップタスクを他のジョブのリデューサと同時に実行します。
関連する問題
- 1. asp.net mvcでのリソース共有
- 2. 共有リソースとD3DX11SaveTextureToFile
- 3. TCパイプラインで共有リソースをロックする(ビルド構成間)
- 4. ASP.NET:Webアプリケーション間でリソース(メンバーシップ、ライブラリ)を共有する方法
- 5. PyroCMS:モジュール間でリソースを共有する方法は?
- 6. PHPの子スレッド間で共有されるリソース
- 7. Node.jsとApache/PHPの間で共有されるjavascriptリソース
- 8. javaサービスとリソースの共有
- 9. Visual Studioのリソース(CSS/JS /イメージ)ウェブとの間の共有は
- 10. Tomcat JDBC共有DBリソース
- 11. gwt css uibinder共有リソース
- 12. アプリケーション間でレールセッションを共有
- 13. フラグメント間でコードを共有
- 14. スレッド間でフレームバッファを共有
- 15. サービス間でデータを共有
- 16. ワークフローアクティビティ間でデータを共有
- 17. DirectX11からDirectX9へのリソースを共有
- 18. 2つのアプリケーション間でリソースを共有する/構築するパス
- 19. 共有リソースへのライターの優先アクセス?
- 20. モジュール間でリソースを共有することをお勧めしますか?
- 21. プロセス間共有共有mutexを増やし、共有ミューテックスのプロセス間条件変数をブーストする
- 22. オブジェクト共有の間のブーリアンブール
- 23. ビューモデル間のコンテキストの共有
- 24. アクティビティ間のメニューバーの共有
- 25. Dのスレッド間でバリアを共有
- 26. リストボックスをコントロール間で共有/ WP7のピボットアイテム
- 27. 複数のサイト間でユーザーアカウントを共有
- 28. IOSのアプリケーション間でデータを共有
- 29. ASP.NETとPHPの間でセッションデータを共有
- 30. GWTのアクティビティ/プレゼンター間でデータを共有