大量のデータをアプリケーション内のsqliteにインポートする方法（リアルタイム）

Question

CSVファイル（サイズ約35MB）で大きなリストの単語（2百万以上）があります。 インデックス（プライマリキー）を使用してCSVファイルをsqlite3にインポートしたかったのです。 sqliteコマンドラインツールを使用してインポートしました。 DBが作成され、.sqliteファイルのサイズが120MB以上になりました！ （プライマリキーインデックスのために50％）

ここで私たちは問題が発生します。この120MBの.sqliteファイルを.ipaファイルに圧縮した後でもリソースに追加すると、> 60MBになります。そして、それが30MB未満になるとしたいと思います（E/3Gによる制限のため）。

また、サイズのため、Webサービス（45MB * 1000ダウンロード= 45GB！これは私のサーバーの半年の制限です）でインポートできません（zip形式のsqliteファイル）。

だから、私はこのような何かできると思っていた：

1. ZIPにし、ファイルよりも言葉でCSVファイルのみ7メガバイトのファイルを持っています圧縮を。
2. ZIPファイルをリソースに追加します。
3. 私はファイルを解凍し、解凍したCSVファイルからsqliteにデータをインポートできます。

しかし、私はこれを行う方法がわかりません。私はこれをしようとしました：

sqlite3_exec(sqlite3_database, ".import mydata.csv mytable", callback, 0, &errMsg); 

しかし、それは動作しません。この失敗の理由は、 ".import"はコマンドラインインターフェイスの一部であり、C APIではありません。

だから私はそれを（圧縮されていないCSVファイル）をアプリケーション内のSQLiteファイルにインポートする方法を知っておく必要があります。

Answer 1

最も簡単な解決策は、NSScannerを使用してCSVパーサを作成し、その行を1つずつデータベースに挿入することです。これは実際にはかなり簡単な仕事です。完全なCSVパーサーhereを見つけることができます。

Answer 2

挿入する単語が一意の場合は、そのテキストを主キーにすることができます。

単語がセット内に存在するかどうか（スペルチェッカーの場合など）をテストする場合は、ブルームフィルタなどの代替データ構造を使用できます。ただし、各単語には1ビットの偽陽性。

http://en.wikipedia.org/wiki/Bloom_filter

Answer 3

としてFlightOfStairsは、要件に応じて、ブルームフィルタを使用すると、完全なデータが必要な場合は、別の解決策は、trieまたはradix treeデータ構造を使用することで、一つの解決策である述べました。データを前処理してこれらのデータ構造を構築し、それをsqliteまたは他の外部データ形式に入れます。