列からのBigQuery日付パーティション

Question

複数の日のデータを含むcsvファイルから日付パーティション表をロードする方法を理解しようとしています。私は、レコードを適切なパーティションに自動的にロードすることを担当する特定の列でのパーティショニングと同様の機能リレーショナルデータベースの提供を探しています。

bigqueryを使用すると、パーティションを動的に割り当てる唯一の方法は、CSVからすべてのレコードを順番にロードする必要があるパーティションデコレータを使用することです（その日は各行ごとに異なる可能性があるため） etlを使用してcsvを1日ごとに分割します。

ここに何か不足していますか？

Answer 1

現在、BigQueryは特定の列のパーティション化をサポートしていませんが、これは高度に要求される機能vote hereとhereです。

パーティションにデータをロードする唯一の方法は、パーティションデコレータを使用することです。このためには、日中にCSVを処理し、各パーティションごとに別々のロードジョブを使用して毎日それを独自のパーティションにロードします。

または、完全なCSVを未分割でロードした後、個々のクエリ - >結果を専用パーティションに書き込むことで、パーティションのスクリプティングをin details hereのように作成します。

Answer 2

Googleは、フィールドごとにパーティション化機能を導入しました。 partitonの任意のDateまたはDatetime型フィールドを使用できます