ハイブパーティションの仕組み

Question

ハイブパーティションの仕組みを知りたい私はコンセプトを知っていますが、その仕組みと正確なパーティションの格納方法を理解しようとしています。 私はテーブルを持っていると私はパーティションを作成し、厳密なパーティションに正確なデータを格納する方法ハイブは、2013年から動的な、摂取されたデータ年にパーティションを作成しました。

Answer 1

ハイブは、テーブルをパーティションに編成します。これは、日付などの区分された列の値に基づいて、関連する部分に表を分割する方法です。

Partitions - ストレージユニットとは別に、特定の基準を満たす行を効率的に識別することもできます。

パーティションを使用すると、データの一部を照会するのは簡単です。

テーブルまたはパーティションは、より効率的なクエリに使用できるデータに余分な構造を提供するために、バケットに細分されています。 Bucketingは、表の一部の列のハッシュ関数の値に基づいて動作します。

2012年に加わったすべての従業員の詳細を取得する必要があるとします。クエリによって、テーブル全体で必要な情報が検索されます。ただし、年の従業員データを分割して別のファイルに格納すると、クエリ処理時間が短縮されます。

Answer 2

表がパーティション化されていない場合は、すべてのデータが順序なしで1つのディレクトリに格納されます。テーブルが分割されている場合（例えば年ごと）、データは別々のディレクトリに格納されます。各ディレクトリは1年間に対応しています。 パーティション化されていないテーブルの場合、year = 2010のデータをフェッチする場合、ハイブはテーブル全体をスキャンして2010レコードを探し出す必要があります。テーブルが分割されている場合は、year = 2010ディレクトリに移動してください。より高速でIO効率が向上