ハイブパフォーマンスユニオンall

Question

ハイブunion allを使用して1つのファイルに複数のファイルが結合されていますが、union allクエリは10個を超えるHiveテーブルを結合し、非常に遅くなりました。各個別のunion allクエリには、1つ以上の結合条件もあります。

私の予想最終結果は、例えば、主キーによってグループ化する必要がある：

table 1 

key1|val1|val2|.. 

table 2 

key1|val10|val11|.. 

insert overwrite <temptable> 
select key, output_string from 
(select key, concat (col1,col2,..) from table 1 where <join conditions> 
union all 
select key, concat(col10,col11,..) from table 2 where <join conditions> 
.. 
) 
cluster by key; 

union allは、所望の結果を得るために重要なことで、私はクラスタを使用している二つのテーブルの上に結合します。ハイブのパフォーマンスは非常に遅いですが、他の選択肢は何ですか？

Answer 1

注このオプション：

hive.optimize.union.remove 
Default Value: false 
Added In: Hive 0.10.0 with HIVE-3276 

組合を削除して、労働組合と組合上記のファイルシンクの間の演算子をプッシュするかどうか。これにより、ユニオンによる出力の余分なスキャンが回避されます。

これは、ユニオンクエリに個別に役立ちます。特に、hive.optimize.skewjoin.compiletimeがtrueに設定されている場合は、余分な共用体が挿入されるため便利です。

hive.merge.mapfilesまたはhive.merge.mapredfilesのいずれかがtrueに設定されている場合、マージがトリガーされます。

ユーザーがfalseにtrueとhive.merge.mapredfilesにhive.merge.mapfilesを設定している場合は、アイデアは、レデューサーの数が少ないので、ファイルの数がとにかく小さいということでした。

しかし、この最適化では、ファイルの数を大幅に増やしています。だから積極的にマージする。