ハイブサブクエリクエリの最適化

Question

私はHDP 2.6.2とハイブを使用しています。

私は大きなテーブルからパーティションテーブルを更新していますが、クエリはうまく機能せず、その理由を理解できません。以下のINSERTステートメントは、ここで私は、句が一度実行され、その結果がキャッシュされているか、基本的に一列で全体temp_tabテーブルはすべてのノードに同梱されている場合にサブクエリを想定例

insert into partitioned_table partition(dt_month) select * from large_table where incremental_string_col > (select last_incremental_col from temp_tab)

ありますCBOによると、文字列の値をリテラルとして入れるだけでなく、うまくいくようです。

テーブルをハイブにキャッシュする必要があることを明示的に指定できますか？ 問合せを1回実行して結果をキャッシュする必要があることを明示的に指定できますか？ 私はここで何が欠けていますか？

私は文字列がどこにあるのかを理解していますが、最良のケースではありませんが、私はそれを助けません。

ご協力いただければ幸いです。

Answer 1

あなたはその後、不等式条件によって行をフィルタリングは、単一の行サブクエリと結合相互マップを使用することができます。

select * 
    from large_table l 
     cross join (single_row_subquery) s 
where l.incremental_string_col>s.last_incremental_col; 

または分離されたスクリプトにサブクエリを計算し、ここで等hivevar変数を渡す：https://stackoverflow.com/a/37821218/2700344