Pythonの行単位のメモリプロファイラ？

Question

大規模なPythonコードベースから、関数の実行中にヒープ使用量やメモリ割り当ての概要を生成したいと考えています。

私はheapyに精通しています。コード内の特定のポイントでヒープの「スナップショット」を取ってくれてうれしく思いますが、それ。私もline_profilerで遊んだことがあるが、それはメモリではなく実行時に機能する。

今私のフォールバックはmassifのValgrindですが、Heapyとline_profilerの両方が与えるコンテキスト上のPython情報はほとんどありません。 Pythonプログラムの実行スパン上でのメモリ使用量やヒープの増加を示す、後者の2つの組み合わせがありますか？

Answer 1

私は、カスタムトレーサ機能を登録するには、プログラムの起動時にsys.settraceを使用します。 custom_trace_functionはコード行ごとに呼び出されます。その後、その機能を使用して、heapyまたはmeliaeによって収集された情報を後で処理するためにファイルに格納することができます。

import sys 
import time 
import atexit 
from guppy import hpy 

_last_log_time = time.time() 
_logfile = open('logfile.txt', 'w') 

def heapy_profile(frame, event, arg): 
    currtime = time.time() 
    if currtime - _last_log_time < 1: 
     return 
    _last_log_time = currtime 
    code = frame.f_code 
    filename = code.co_filename 
    lineno = code.co_firstlineno 
    idset = hpy().heap() 
    logfile.write('%s %s:%s\n%s\n\n' % (currtime, filename, lineno, idset)) 
    logfile.flush() 

atexit.register(_logfile.close) 
sys.settrace(heapy_profile) 

Answer 2

あなたはmemory_profilerにより興味があるかもしれない：

はここhpy.heapの出力（）、プレーンテキストファイルに各秒を記録します非常に簡単な例です。