多くの行（3億+）のテーブルでcount（*）を使用するクエリのパフォーマンス

Question

sqliteの使用には制限があると理解していますが、このシナリオを処理できるかどうかを知りたいと思います。

私のテーブルには3億以上のレコードがあり、dbは約12ギガバイトです。 sqliteのデータインポートユーティリティはすばらしく高速です。しかし、この表の文字列にインデックスを追加し、この操作を完了するために一晩中実行しました。私はこれを他のデータベースと比較していませんが、私にとってはかなり遅いようです。

インデックスが追加されたので、データの重複を探したいと思っています。だから私は "0>クエリを持っている"を実行しようとしているし、それも時間がかかるようです。私のクエリは次のようになります。

select col1, count(*) 
from table1 
group by col1 
having count(*) > 1 

私はこのクエリは、col1の上で私のインデックスを使用すると仮定しますが、スロークエリの実行は、それがない場合、私は思ってしまいますか？

おそらくSQL Serverはこのようなことをよりうまく処理できますか？

Answer 1

しかし、私は、この表の文字列にインデックスを追加し、それがこの 操作を完了するために、すべての夜走りました。私はこれを他のデータベースと比較していませんが、私にとってはかなり遅いようです。

私はyuoに嫌いですが、あなたのサーバーはどのように見えますか？議論はしていないが、大量のIOが必要な大量の集中的な操作であり、通常のコンピュータや遅いハードディスクのあるChehap Webサーバーは、重要なデータベース作業には適していない。私は何百ギガバイトのDBプロジェクト作業を行い、私の最小の「大規模データ」サーバは2つのSSDと8つのVelociraptorsを持っています。最大のものは3つのストレージノードを持ち、合計1000ギガバイトのSSDディスクを持っています.IOはDBサーバーが息づいているためです。

だから私は「持っ回数> 0」クエリを実行しようとしている、それがどのくらいのRAM

にも時間を取っているように見えますか？それをすべてメモリに収めることができますか、メモリが不足しているためにメモリが不足していて不良IOに陥ることはありませんか？ SqlLiteはどのくらいのメモリを使用できますか？ tempはどのように設定されていますか？記憶に？ SQL Serverは、このタイプのチェックに多量のメモリ/ tempdb領域を使用する可能性があります。

Answer 2

PRAGMA cache_size=<number of pages>でsqliteキャッシュを増やしてください。使用されるメモリは<number of pages>倍<size of page>です。これらの値をそれぞれ16000と32768（または約512MB）に設定することにより、この1つのプログラムのバルクロードを20分から2分に短縮することができました。 （ただし、そのシステム上のディスクがそれほど遅くない場合、これはあまり効果がなかったかもしれません）。

このような余分なメモリは、より小さい組み込みプラットフォームでは利用できないかもしれませんが、それは私がやったものと同じくらいですが、デスクトップやラップトップレベルのシステムでは、大いに役立ちます。

Answer 3

SQLiteのcount()は最適化されていません - フルテーブルスキャンインデックスされています。ここにはrecommended approach to speed things upがあります。確認するために、あなたが表示されますEXPLAIN QUERY PLANを実行します。

EXPLAIN QUERY PLAN SELECT COUNT(FIELD_NAME) FROM TABLE_NAME; 

私はこのような何かを得る：

0|0|0|SCAN TABLE TABLE_NAME (~1000000 rows)