PIGスクリプトをローカルで実行しているときとmapreduceを実行しているときの実際の違いは何ですか? mapdduceモードは、hdfsがインストールされているクラスタで実行していることを理解しています。これはローカルモードでHDFSが必要ないことを意味するので、マップリダクションジョブさえトリガされませんか?違いは何ですか?あなたはいつ他のことをしますか?PIGローカルとmapreduceモードの違い
答えて
ローカルモードでは、ディスク上のローカルファイルから実行されるシミュレートされたmapreduceジョブが構築されます。理論的にはMapReduceと同等ですが、実際の仕事ではありません。あなたはユーザーの視点との違いを伝えるべきではありません。
ローカルモードは開発に最適です。
ローカルモード:すべてのスクリプトは、Hadoop MapReduceおよびHDFSを必要とせずに1台のマシンで実行されます。これは、Pigロジックの開発とテストに役立ちます。開発者に少量のデータを使用したり、コードをテストしている場合は、MapReduceインフラストラクチャを経由するよりもローカルモードが高速になる可能性があります。
ローカルモードではHadoopは必要ありません。ローカルモードで実行すると、PigプログラムはローカルJava仮想マシンのコンテキストで実行され、データアクセスは単一のマシンのローカルファイルシステム経由で実行されます。ローカルモードは、実際にはHadoopのLocalJobRunnerクラスのMapReduceのローカルシミュレーションです。
MapReduceモード(Hadoopモードとも呼ばれます):HadoopクラスタでPigが実行されます。この場合、Pig Scriptは一連のMapReduceジョブに変換され、Hadoopクラスタ上で実行されます。
あなたは上の操作を実行したいデータのテラバイトを持っていて、対話形式でプログラムを開発する場合、あなたはすぐに物事がかなり遅く見つけること、そしてあなたがあなたのストレージの成長を開始してもよいです。ローカルモードでは、よりインタラクティブな方法でデータのサブセットを扱うことができるため、Pigプログラムのロジックを把握して(バグを解決することができます)
必要に応じて設定し、操作がスムーズに実行されたら、MapReduceモードを使用して完全なデータセットに対してスクリプトを実行できます。
- 1. Pig mapreduce job failing
- 2. couchdbのようなデータストアのMapReduceとHadoopのMapReduceの違いは?
- 3. PIGのCogroupとJoinの違いは何ですか?
- 4. GoogleのDremelとは何ですか? Mapreduceとの違いは?
- 5. ローカルRデータフレームとSparkRデータフレームとRDDとの違いと相違
- 6. ローカルとリモートデータベースTimeZoneの違いテストの違い
- 7. Apache Ivy:ローカルIvyキャッシュとローカルリポジトリの違い
- 8. スパーク・メソス・クラスタ・モードがローカル・モードより遅い
- 9. ローカル実行のためのPIGの微調整
- 10. 既存のMapReduceとYARN(MRv2)の相違点
- 11. Visual Studioモードの違い(General、Web Dev、C#)?
- 12. openwrapオフラインまたはローカルのみのモード
- 13. Hadoopのスタンドアロンモードと擬似配布モードでのDataFlowの違いは?
- 14. rとrbモードのテキストファイルの解析の違い
- 15. ローカルとリモートの宝石の違いは何ですか?
- 16. PassportJsのローカル基本とダイジェスト戦略の違い
- 17. ルビのローカル変数とインスタンス変数の違い
- 18. ローカル(Windows)とVPS(Fedora)のPHPメモリ使用量の違い
- 19. TSimpleCodec.Begin_EncryptMemory - 間違ったモード
- 20. ローカルとgithubの違いを確認する方法
- 21. (ローカル)と(PC名)\ SQLEXPRESSの違いは何ですか?
- 22. ローカルとデプロイされたMVC 2アプリケーションの違い
- 23. 新しいMapReduceのアーキテクチャとEclipse
- 24. Win7:管理者モードのWindowsエクスプローラと管理者モードのcmd.exeを起動する違いは何ですか?
- 25. mapreduceとGlobStatusのヌルポインタ例外
- 26. Amazon Elastic MapReduceのNumpyとScipy
- 27. ローカル時刻とサーバー時刻に違いがあります
- 28. Apache Pigのエスケープカラム名
- 29. MIPSアセンブリのPigラテン
- 30. PIG UDFでのデバッグ
ローカルモードではカウンターのサポートはありませんが、これはPigではなくHadoop Map/Reduceによるものです。 – cyang