異なるプロセスで使用するためにPythonオブジェクトをメモリに保存するにはどうすればよいですか？

Question

状況は次のとおりです。私は大量のオブジェクトをメモリにロードする必要があります。それが2倍で読み込まれると、私のマシン上の利用可能なメモリを越えることになります（いいえ、私はメモリをアップグレードできません）。私はそれをより小さなものに分割することもできません。簡単にするために、オブジェクトが600 MBで、RAMが1 GBしかないとしましょう。私は、複数のプロセスで実行されているWebアプリケーションからこのオブジェクトを使用する必要があります。また、これらのオブジェクトがどのように生成されるのかを制御しません（サードパーティのロードバランサはそれを行います）。いくつかのマスタースレッド/プロセスで実行し、その後子プロセスを起動します。これはPOSHのようなものを使用する可能性を排除します。なぜなら、POSHは独自のカスタムフォークコールに依存しているからです。私はSQLiteメモリデータベース、mmap、posix_ipc、sysv_ipc、shmモジュールのようなものを使うこともできません。なぜならそれらはメモリ内のファイルとして動作し、このデータは私にとってオブジェクトでなければならないからです。そのうちの1つを使用して、ファイルとして読み込んでから、個々のプロセスとBAMのオブジェクトに変換しなければなりません。セカンダリコピーで読み込もうとしたため、セグメンテーションフォールトがマシンのメモリ制限を超えてしまいます。

Pythonオブジェクトを（ファイル/文字列/シリアライズ/ピクルスとしてではなく）メモリに格納し、どのプロセスからでもアクセスできるようにする必要があります。私はそれが何であるか分かりません。私はStackOverflowとGoogleの全体を見てきましたが、これに対する答えを見つけることができないので、誰かが私を助けてくれることを願っています。

Answer 1

http://docs.python.org/library/multiprocessing.html#sharing-state-between-processes

共有メモリを探し、またはサーバー・プロセス。あなたのポストサーバプロセスを読み返した後は、あなたが望むものに近い音が聞こえます。

http://en.wikipedia.org/wiki/Shared_memory

Answer 2

私は各PythonスクリプトにインポートされるCモジュールとしてこれを実装します。次に、この大きなオブジェクトへのインタフェースは、CまたはCとPythonの何らかの組み合わせで実装されます。

Answer 3

ありメモリにPythonオブジェクトを保存するために何らかの方法であること（および ファイル/文字列として/シリアル化されていない/漬物）と、それがどの プロセスからアクセス可能である必要があります。

これは動作の仕方ではありません。 Pythonのオブジェクト参照カウントとオブジェクトの内部ポインタは、複数のプロセスにわたって意味をなさない。

データが実際のPythonオブジェクトである必要がない場合は、mmap（）またはデータベースなどに格納されている生データを処理できます。