BigQueryテーブルの重複レコードを削除する

Question

BigQueryテーブルに毎日インクリメンタルデータを追加する予定です。インクリメンタルデータを既存のテーブルに追加するたびに、テーブル内の既存のデータから重複レコード（プライマリキーカラムに基づいて）を削除したいと考えています。 SELECT all_cols from table where pkey_col NOT IN (INCR_KEYS) - - と新しいテーブルに結果を格納する行にクエリを実行し

（INCR_KEYSそれを呼び出すことができます）増分データからキーのセットを収集し

1. - 一つのアプローチは、になります。
2. 新しいテーブルにインクリメンタルデータを追加します。

私はこのアプローチで懸念しているのは、大きなテーブルの重複コピーを作成し、請求書に追加することです。

重複テーブルを作成せずに同じことを達成するより良い方法はありますか？

Answer 1

重複したテーブルを作成せずにこれを行う方法はわかりません。これは実際には非常に巧妙な解決策のようです。

ただし、追加費用はごくわずかです.BigQueryは、それが存在する期間だけデータを請求します。古いテーブルを削除する場合は、秒または分の期間だけ両方のテーブルの支払いが必要です。

Answer 2

あなたは、既存のテーブルに設定された宛先テーブルでクエリを実行し、切り捨てるように書き込み処分を設定できます

bq query --allow_large_results --replace --destination_table=mydataset.mytable \ 
    'SELECT * FROM mydataset.mytable 
    WHERE key NOT IN (SELECT key FROM mydataset.update)' 
bq cp --append_table mydataset.update mydataset.mytable 

特にとして、私はこれがうまくいくと信じていますが、私はそれがバックアップを取る価値があると思いますすぐ後に削除することができます。

bq cp mydataset.mytable mydataset.backup 
# You can also build the new table in one pass: 
bq query --allow_large_results --replace --destination_table=mydataset.mytable \ 
    'SELECT * FROM (
     SELECT * FROM mydataset.mytable 
     WHERE key NOT IN (SELECT key FROM mydataset.update) 
    ), (
     SELECT * FROM mydataset.update 
    )' 
bq rm mydataset.backup 

Answer 3

あなたは新しい宛先テーブルを設定し、ちょうどすべての列でのカウントとグループを照会することができます

SELECT 
    FIELD1, 
    FIELD2, 
    FIELD3, 
    FIELD4 
FROM (
    SELECT 
    COUNT (*), 
    FIELD1, 
    FIELD2, 
    FIELD3, 
    FIELD4 
    FROM 
    [<TABLE>] 
    GROUP BY 
    FIELD1, 
    FIELD2, 
    FIELD3, 
    FIELD4)