私は2つのテーブルを持っている巨大なデータベース

Question

のパフォーマンスの問題につながる可能性があり、私のSQLクエリを確認してください：

Customerテーブル：

• ID（主キー）
• をEMAIL_ID
• は
をROLE_ID
• individual_id（外部キー）。

個々のテーブル：

• は、私はそのemail_id、role_idとdob同じであるすべての重複レコードを見つけたい
• DOB

をindividual_id。

私が参加して、グループとして以下の節で、簡単なを使用してクエリを作成しました：

SELECT c.email_id, c.role_id, i.dob 
FROM CUSTOMER c 
JOIN INDIVIDUAL i on c.individual_id = i.individual_id 
GROUP BY c.email_id, c.role_id, i.dob 
Having count(*) >= 2 

これは、テスト・データベース（SQL Server 2012の）上で正常に動作しているが、私は知りたいのですが、それは私のクエリは希望し運用データベースにパフォーマンス上の問題があり（約500万）、これを行うにはより良い方法がありますか？

Answer 1

パフォーマンスの問題は、DBサイズに基づいており、データの変更がdbに反映されています。それは他の操作によりデッドロックされて読み取りを防止することができます

  set statistics time on -- show you exec time 

      SELECT top 10 c.email_id,c.role_id,i.dob 
      FROM CUSTOMER c (nolock) 
      JOIN INDIVIDUAL i (nolock) on c.individual_id=i.individual_id 
      GROUP BY c.email_id,c.role_id,i.dob 
      Having count(*) >=2 

使用NOLOCK、

まず、実行時間を確認するために、トップ10のクエリを試してみてください。それ以上の行を試すことができます。

また、データテンポラリテーブルをインポートすると、重複したデータを見つけることができます。

Answer 2

;WITH numbered 
    AS (SELECT ROW_NUMBER() 
        OVER(PARTITION BY c.email_id, c.role_id, i.dob 
         ORDER BY c.email_id, c.role_id, i.dob) AS _dupe_num, 
       c.email_id, 
       c.role_id, 
       i.dob 
     FROM customer c 
       INNER JOIN individual i 
         ON c.individual_id = i.individual_id) 

SELECT c.email_id, c.role_id, i.dob -- You can add a DISTINCT or GROUP here if required. 
FROM numbered 
WHERE _dupe_num > 1; 

これは同じ問題に対する別のアプローチです。実行計画を比較することができます。しかし、私はあなたが掲示したクエリで実際の問題は表示されません。

これらのテーブルに対して、5Mを超えるレコードでテスト環境を読み込むことを検討しましたか？それらを生成することはかなり容易であるはずです。いくつかのテスト値が必要な場合は、AdventureWorksのアイテムをいつでも取得して連結することができます。