膨大な量の文字列を格納して重複をチェックするための最良の方法は何ですか？が 膨大な量のユニークな文字列を保存する最も速い方法は何ですか？
は、我々は、我々の優先順位について考える必要が私たちの目標が高速の重複チェックで新しい文字列を挿入する時間（ランダムアクセスまたは記憶スペースなしe matter）？ 私はSQLデータベースについて考えますが、このソリューションにはDBのどれが最適ですか？ MySQLのようなSQL DBを使用すれば、どのストレージエンジンが最適でしょうか？ （もちろん、データ量のためにメモリを除外しなければならない）
入力文字列にハッシュ関数を使用する。出力ハッシュはレコードの主キー/ idになります。
DBは、このハッシュ/ ID /主キーがあるなら、あなたは確認することができます。
あなたはスピードと文字列とハッシュ衝突要件/保証の予想数に基づいて、使用するハッシュ関数/スキーム/強度を検討する必要があります。
衝突を解決するにはいくつかの方法：
もちろん、これがどれくらいの持続性を必要としているか、文字列の数を取ることが予想されるかによって、実際にはデータベースを使わずに直接メモリに格納することができます。
プライマリキーとしてのハッシュ？どのように衝突を処理するのですか？ –
@NicolasRepiquet updated応答 –
なぜ主キーを使うのですか？'ハッシュ'カラム（非一意）と '値'カラム（文字列を含む）と 'ハッシュ'カラムのクラスタードインデックスを持つ単純なテーブルは、「ハッシュ= 'ハッシュ'と値= '...'は、速くて簡単なことですが、やや遅い挿入を犠牲にしています。 –
文字列を格納するためのサフィックスツリーを生成します。 http://www.daimi.au.dk/~mailund/slides/Ukkonen-2005.pdfのようなUkkonenのアルゴリズムは、サフィックスツリーを作成する方法をいくつかの洞察力を与えるでしょう。このサフィックスツリーを格納する方法はいくつかあります。しかし、いったん生成されると、参照時間は非常に短くなります。
あなたはのNoSQLソリューションを検討する必要があります。
Redisを。ユースケースの一部はRedisのを使用して解決：
memcached（ジョシュアL.カールソンはRedis in Actionの著者です）。 memcachedのとRedisの間にいくつかの比較：one of their success storiesとしてOMGPOPのドロー何かをカウント
Membase/Couchbase。 RedisのとMemBase値との比較：
いくつかの質問：
これが役に立ちます。
ありがとう、レディスについて知りませんでした。私は以前それについて聞いていなかったと信じています。 +1 –
"ランダムアクセス時間"の意味について詳しく説明できますか？データが文字列のセットである場合、「追加」、「含む」、「削除」のみが実行されます。 –
あなたの問題についてもっと詳しく教えてもらえれば、例えば実行時に文字列を使っていてもメモリに収まらなければならない場合など、リスト/ハッシュ/配列に格納するのが最善の方法です。まだ存在していない場合にのみ項目を追加し、最後に配列を書き出します（実行後に必要な場合は、やり直してください）。 – deed02392
異なる文字列のコレクションを集めようとしていますか、重複をフィルタリングしていますか？目的は何ですか？特に：重複の予想される部分量はどのくらいですか？ほとんどすべてが重複していると思いますか、まれなイベントですか？すべての新しい値をデータベースに追加しますか？ –