パンダでHDF5テーブルをフィルタリングしているメモリが不足しています

Question

私はツリー状の構造のノードに対応する行を持つ4+ Gb HDF5テーブルを持っています。 3つの顕著な列：name,surname,weightがあります。 Surnameは、指定されたノードの親の名前をログに記録します.nameは現在のノードの名前（親との相対的な名前）で、weightはノードの重みです。名前と姓は両方とも文字列であり、姓+名前はこのノードの一意の識別子です。最後に、任意のノードについて、その子の重みは自らの重みよりも厳密に小さい。

私の問題は、重みが所定のしきい値Mより小さいすべてのノードを見つけるためにこのテーブルをフィルタリングしたいが、ノードが最終セットに存在する場合、その親はセット内にあってはならないということです。

私はpd.read_hdf(,where = ['weight < M'])を使用して、すべてのノードが私の状態を満たす体重が少なくなるようにしましたが、後半を満たす方法はわかりません。これは、テーブル自体が膨大であるため、ほとんどの場合メモリから外して実行する必要があります。

編集：私は前にここで質問をしたことがありませんので、あなたがより多くの明快さを必要とする場合、

UPDATEを依頼してください：ここでは、テーブルのサンプルがあります。例えば、ノード12は、の名前を取って命名され

 1 
/ |  \ 
11  12  13 
... ... ... 

：

surname name weight 
1   1  0.016496 
1   2  0.004884 
1   3  0.004691 

各行を想像し、私はnodesによって意味を明らかにすることであるが、以下のグラフの下側の3つのノードの特性を表します
ノード11,12,13はそれぞれ3つのノードを子として持ち、その重みはそれぞれの親よりも厳密に小さくなっています。ウェイトスレッシュホールドM = 0.0165を設定した場合、ノード11,12,13を子なしで返すようにしたいと考えています。

Answer 1

パンダのような構文を探していて、コア要件を満たしていない場合は、それを制御するためにBlazeのようなものが必要です。 The documentationは、並列処理セクションでHDF5ファイルを処理できると述べています。

しかし、あなたがしたいことについてのあなたの質問は明確ではありません。もし必要ならば、データの入出力例を挙げてください。