データベースを使用してPythonリスト、セット、または辞書を不可視に実装できますか？

Question

リストのためのPythonのネイティブ機能は、完全にロック辞書&を設定します。データが本当に大きくなったときにネイティブ機能を使用し続ける方法はありますか？私が取り組んでいる問題は、非常に大きなリストのマッチング（交差）です。私はまだ限界を押し進めていません - 実際には私は限界が何であるか分かりませんし、データが予想通りに成長した後に大きな再実装で驚いて欲しくないです。

Google App Engineのような実用的な規模の制限を宣言し、永遠にそのままネイティブ機能を使用し続け、これについて実際には考えていないものに展開するのは妥当ですか？

リスト、セットまたはディクショナリがPython管理のメモリとDBのどちらにあるのかを隠すことのできるPythonの魔法がありますか？物理的なデータの展開はコードの中とは区別できますか？

あなたは、Python Super Expertさん、リストを扱い、データ量が増えるにつれて& dictsをどうやって設定しますか？

Answer 1

の本質的な機能はリストの固有の機能であり、具体的には&辞書です。ただし、とsequence typesをエミュレートするクラスを作成するには、methods with special namesを定義します。つまり、リストのように動作するクラスを作成できますが、そのデータはSQLデータベースまたはGAEデータストアに格納されます。簡単に言えば、これはORMの機能です。しかし、オブジェクトをデータベースにマッピングすることは非常に複雑で、独自のORMを作成するのではなく、既存のORMを使用することはおそらく良い考えです。

ワンサイズの解決策はありません。特にGAEは、マジックフェアリーダストのようなものではありません。拡張可能なアプリケーションを作成する際に留意すべきいくつかの制限があります。それらのうちのいくつかはcomputational complexityのように一般的ですが、その他はコードが実行される環境に固有のものです。GAE では、最大応答時間は30秒に制限され、データストアをクエリする は他のデータベースと異なる動作をします。

具体的な問題を知らなくても具体的なアドバイスをするのは難しいですが、GAEが適切な解決策であるかどうかは疑問です。

大規模なデータセットで作業する場合は、最初からそのことを覚えておく必要があります。そうしないと、コードセット、アルゴリズム、データ構造が再構築されます。

Answer 2

ORMを使用することができます：オブジェクトリレーショナルマッピング：クラスはテーブルを取得し、オブジェクトは行を取得します。私はDjango ORMが好きです。それ以外のWebアプリケーションにも使用できます。私はGAEでそれを使用したことはありませんが、可能だと思います。

Answer 3

あなたは私の夢を記述しています！しかし、私はあなたがそれをすることはできないと思う。私はいつもPythonのためにLINQのようなものを望んでいましたが、その言語はネイティブデータベース操作AFAIKのPython構文を使用することを許可していません。可能であれば、リストを使用してコードを記述し、同じコードを使用してデータベースからデータを取得することができます。

スケーラブルなプラットフォームに移行するのは簡単ではないため、リストとセットだけに基づいて多くのコードを書くことはお勧めしません。 ORMのようなものを使うことをお勧めします。 GAEにもits own ORM-like systemがあり、SQLAlchemyやSQLObjectなどの他のものを使用することもできます。 SQLite。

残念ながら、リスト内包などの素晴らしいものを使用してデータベースからデータをフィルタリングすることはできません。確かに、DBから取得した後にデータをフィルタリングすることはできますが、オブジェクトのクエリやデータベースからの多くのオブジェクトを返すために、SQLのような言語でクエリを作成する必要があります。

OTOHには、Buzhugという自然なPython構文を使用できるPythonで書かれた、興味のある非リレーショナルデータベースシステムがあります。私はそれを使用したことがないと私はそれが私はそれに私のお金を入れないようにスケーラブルであるかどうかわからない。しかし、あなたはそれをテストし、それがあなたを助けることができるかどうかを見ることができます。