2012-03-07 6 views
0

通常のmap reduce(ワードカウントプログラム)に沿ってハイブクエリ(外部テーブルのエントリの単純カウント)を実行すると、私は奇妙な経験をしました。私のワードカウントマップの縮小が最初に開始され、ハイブクエリが2番目に開始されました。ハイブのクエリは、どのくらい速く、私の最初のマップの縮退は固まってしまった。ハイブマップが他のすべてのマップを横切って減少するブロックを減らす場合はありますか?Apache Hive対ノーマルマップReduce

私はあなたにこの質問に関する意見を追加するよう依頼します。

答えて

0

私はこれが一貫していないと仮定しています。 Hiveは、クラスタ上の他のジョブをブロックしません。クラスタの負荷とネットワークの待ち時間は、どのジョブが最初に終了するかに影響を与える可能性があります。 2つのジョブを比較してどちらが速いのかを確認する場合は、同時に実行して、少なくとも5〜10回テストを実行し、平均時間を考慮してください。

0

ジョブが完了する順序は、ジョブによって要求されたマップおよび削減タスクの数、およびクラスタのスケジューラ構成によって異なります。

ジョブが、クラスタが使用可能なより多くの縮小タスクを要求した場合、他のジョブは、減速タスクが完了するまで強制的に待機します。スケジューラは、待機中のジョブに空きスロットを割り当てることができます(やはり、スケジューラの構成に依存します)。