Sparkでネストされた辞書を減らす方法

Question

（ 'pyspark'では）複数の辞書を含むRDDがあります。これらの辞書にはそれぞれ複数の辞書が含まれています。それは次のようになります。

label1 : {tag1, : count = 2, tag2: count = 3}, {tag2 : count = 3}, {tag3 : count = 1}, ... 
label2 : {tag1, : count = 2, tag3: count = 2}, {tag2 : count = 5}, {tag4 : count = 3}, ... 
. 
. 

この構造を考えると、私は結果は次の形式を持っているので、辞書を「削減」できるようにしたいと思います：

label1 : {tag1 : count = 2}, {tag : count = 6}, {tag3 : count = 1} ... 
label2 : {tag1 : count = 2}, {tag2 : count = 5}, {tag3 : count = 2}, {tag4 : count = 3}... 
. 
. 
. 

私は、これは似ている感じを持っています'減らす'または '結合する'または 'グループバイ'であるが、適切な機能を見つけるのが難しい。 Sparkのどの機能がこの作業を達成するかもしれないかを教えてください。ありがとう！

Answer 1

これは一つの大きな辞書に辞書のあなたのイテレータを平らにする必要があります

def combine(iter): 
    bigDict = dict() 
    for littleDict in iter: 
     for key, value in littleDict.iteritems(): 
      bigDict[key] = value 
    return bigDict 
rdd.map(combine)