2013-04-21 36 views
5

非常に大きなデータを扱うPythonプログラムを書いています。データを処理するにつれて、処理されたデータは配列に格納されます。配列は数百メガバイトまたはギガバイトまで容易に増加します。データベースでPythonを使用するにはどうすればよいですか?

私はPythonが配列のデータに連続してアクセスする必要があるため、このように設定する理由があります。配列が大きくなったり大きくなったりするので、プロセスは簡単にエラーになりやすく、非常に遅くなります。

アレイのようなデータベースを別のファイルやデータベースモジュールに保存し、必要に応じてアクセスする方法はありますか?

おそらく、これは非常に基本的な作業ですが、私はヒントはありません。

+2

どのくらいの頻度では、このデータにアクセスしていますか?線形アクセスですか?ランダムアクセス? – ubik

+0

ちょうど興味のために、プログラムはピークレベルでどれくらいのRAMを消費しますか? –

+0

@ubikそれは第1段階で線形であり、第2段階ではランダムです。データを分析して配列を作成し、処理されるデータが多いほど配列は大きくなり、線形的に処理されます。その後、配列内の値は、他の値を計算するために連続的かつランダムにアクセスされます。 – ytrewq

答えて

関連する問題