Python Pandas ipythonカーネルの再サンプリングが予期せず終了しましたエラー

Question

1秒間隔でデータを再サンプリングしようとしたときにipython kernel died unexpectedly Errorを取得しました。 index_resultは、datetimeオブジェクトをインデックスとして約60000000行×15列です。 5秒から18時間にリサンプリングしてもエラーは発生しませんでした。しかし、1秒間隔でリサンプリングすると、kernel died unexpectely errorが返ってきます。

次のコードです：

resample_interval= ['1S','5S','10S','15S','30S','60S','90S','120S','180S','240S',\ 
'5T','7T','10T','15T','30T','45T','1H','2H','3H','4H','6H','8H','12H','18H'] 

for idx,interval in enumerate(resample_interval):  
    locals() 
['resample_result_'+resample_interval[idx]] = index_result.resample(resample_interval[idx], how={'Volume':np.sum, 'Ask Price':'ohlc', 'Bid Price':'ohlc', 'Price':'ohlc'}) 

Answer 1

の背後にある理由は、メモリの問題です。私は24GのRAMを持っていますが、私のデータフレームが本当に大きいので、ここのパンダは大きなメモリブロックを占めています。 この問題の私の解決策は、データフレームをチャンクし、断片ごとに再サンプリングし、後でそれらを戻すことです。同じ問題が発生した場合は、これが役立つことを願っています。