この大きなJOINのスピードアップ

Question

EDIT：以下の質問には、観察結果を説明する間違いがありました。私は質問を削除することができますが、これはまだ誰かにとって有用かもしれません。間違いは、サーバー上で実行されている実際のクエリはSELECT * FROM t（それはばかげていた）だと私は考えていたのだと思っていた。それはSELECT t.* FROM tだ。 tobyobrianの答えとそのコメントを参照してください。

---

次のように、スキーマを使用する状況ではクエリが低すぎます。テーブルtは、t_idによってインデックスされたデータ行を持っています。

CREATE TABLE t (
    t_id INT NOT NULL PRIMARY KEY, 
    data columns... 
); 
CREATE TABLE t_x (
    t_id INT NOT NULL, 
    x_id INT NOT NULL, 
    PRIMARY KEY (t_id, x_id), 
    KEY (x_id) 
); 
CREATE TABLE t_y (
    t_id INT NOT NULL, 
    y_id INT NOT NULL, 
    PRIMARY KEY (t_id, y_id), 
    KEY (y_id) 
); 

私はどちらかで参照されていないもの、すなわちtに浮遊行をエクスポートする必要があります：tは、結合に必要なだけforeignsキーが含まれているそれぞれの接合テーブルt_xとt_yを経由して、テーブルxとyに隣接しますジャンクションテーブル。

SELECT t.* FROM t 
LEFT JOIN t_x ON t_x.t_id=t.t_id 
LEFT JOIN t_y ON t_y.t_id=t.t_id 
WHERE t_x.t_id IS NULL OR t_y.t_id IS NULL 
INTO OUTFILE ...; 

tt_xとt_y両方が約25 M行を有するが21 M行を有します。したがって、これは自然にゆっくりとしたクエリになります。

私はMyISAMを使用していますので、t_xとt_yのインデックスを事前にロードすることでスピードアップしようと考えていました。 t_x.MYIとt_y.MYIの組み合わされたサイズは約1.2Mバイトでしたので、私はそれらの専用キーバッファーを作成し、それらのPRIMARYキーを専用バッファーに割り当て、LOAD INDEX INTOにそれらをキャッシュしました。

しかし、動作中のクエリを見ると、mysqldは約1％のCPUを使用しています。平均システムIOの待ちキュー長は約5であり、mysqldの平均シークサイズは250kの範囲です。さらに、IOのほとんどはt_x.MYIとt_x.MYDからmysqldを読み込みます。

私は理解していない：

1. mysqldがすべてで.MYDファイルを読んでいるのはなぜ？

2. なぜ、mysqldはプリロードされたt_xとt_yインデックスを使用していないのですか？

それは、2つの列の上にあることt_xとt_y主キーとは何かを持ってもらえますか？

EDIT：クエリは次のように説明し

| id | select_type | table | type | possible_keys | key  | key_len | ref  | rows  | Extra  | 
+----+-------------+-------+------+---------------+---------+---------+-----------+----------+-------------+ 
| 1 | SIMPLE  | t  | ALL | NULL   | NULL | NULL | NULL  | 20980052 |    | 
| 1 | SIMPLE  | t_x | ref | PRIMARY  | PRIMARY | 4  | db.t.t_id | 235849 | Using index | 
| 1 | SIMPLE  | t_y | ref | PRIMARY  | PRIMARY | 4  | db.t.t_id | 207947 | Using where | 
+----+-------------+-------+------+---------------+---------+---------+-----------+----------+-------------+ 

Answer 1

私はあなたの質問の一部1を答えることができる、とあなたはEXPLAINの出力を投稿する場合、私はしてもしなくてもよい部分2にお答えすることができる場合があります

t。*を選択するには、MYDファイルを参照する必要があります。プライマリキーのみがインデックスにあり、要求したデータ列をフェッチするには残りの列が必要です。

つまり、クエリは非常に迅速に結果を素早くフィルタリングしているだけで、必要なすべてのデータをコピーするのに苦労しています。

出力に重複がある可能性があることにも注意してください.1つの行にt_xでは参照はなく、x_yでは3つのt *が3回繰り返されます。 where節が十分に効率的で、実際のデータを読むのに多くの時間が費やされているとすれば、これはおそらく問題の原因になります。それは場合に役立ちます

Answer 2

これは、もう少し効率的かもしれあなたの効率select distinctに変更してみてくださいし、次を参照してください。

SELECT * 
FROM t 
WHERE t.id NOT IN (
    SELECT DISTINCT t_id 
    FROM t_x 
    UNION 
    SELECT DISTINCT t_id 
    FROM t_y 
); 

Answer 3

使用していない存在 - 「参加する」または「ではない使用するよりもはるかに良い - これは最速になりますこの奉仕の中で

SELECT t.* FROM t a 
Where not exists (select 1 from t_x b 
        where b.t_id = a.t_id) 
or not exists (select 1 from t_y c 
       where c.t_id = a.t_id);