パンダのメモ

Question

私は何度も何度も繰り返す長い計算をしています。したがって、私はと協力してメモ化（jugとjoblibのようなパッケージ）を使いたいと思います。問題は、パッケージがメソッド引数としてPandas DataFramesをよくメモするかどうかです。

誰でも試しましたか？これを行うための他の推奨パッケージ/方法はありますか？

Answer 1

ここにjugの作者：jugはうまくいきます。私は次のことを試してみました、それが動作します：

from jug import TaskGenerator 
import pandas as pd 
import numpy as np 


@TaskGenerator 
def gendata(): 
    return pd.DataFrame(np.arange(343440).reshape((10,-1))) 

@TaskGenerator 
def compute(x): 
    return x.mean() 

y = compute(gendata()) 

それはその場でそれを圧縮が、（それだけDataFrameのために内部pickleを使用してそれができるほど効率的ではないので、それは面で恐ろしいではありませんメモリ使用量はそれよりも少し遅い）。

私は水差しは現在、numpyの配列の場合と同様に、特殊なケースとして、これらを節約変化にオープンになります：https://github.com/luispedro/jug/blob/master/jug/backends/file_store.py#L102

Answer 2

私はこの基本的なメモデコレータ、memoizedを使用します。 http://wiki.python.org/moin/PythonDecoratorLibrary#Memoize

DataFramesはハッシュ可能なので、正常に動作するはずです。ここに例があります。

In [2]: func = lambda df: df.apply(np.fft.fft) 

In [3]: memoized_func = memoized(func) 

In [4]: df = DataFrame(np.random.randn(1000, 1000)) 

In [5]: %timeit func(df) 
10 loops, best of 3: 124 ms per loop 

In [9]: %timeit memoized_func(df) 
1000000 loops, best of 3: 1.46 us per loop 

私によく見えます。