Pyspark combineByKeyタプルとカウントのリスト

Question

rddの2つの浮動小数点型のキー付きタプルを、リストにキー付きタプルのリストと各キーのそれぞれの数に組み合わせるのが難しかった。私はrddを使用しています。これを行うにはcombineByKeyを使用します。 combineByKeyの外側にある3つのラムダに値を渡すと、私が期待する結果、タプルとカウントのリストのキーとタプルが得られます。しかし、私がcombineByKeyでこれを行うと、私は1つの定数値とカウントのリストのキーとタプルを取得します。私はここで何が欠けていますか？私は説明するために以下のREPL出力をキャプチャしました。

j = jnd.take(2) 

j：

[[u'14225532965000', (0.2072, 82777.0)], [u'14217732824000', (0.20361902000000001, 77271.0)]] 
creCmb = (lambda v: ([v[1]], 1)) 
mrgVal = (lambda x, v: (x[0]+[v[1]], x[1]+1)) 
mrgCmb = (lambda x, y: (x[0]+y[0], x[1]+y[1])) 
x = creCmb(j[0]) 

x：

([(0.2072, 82777.0)], 1) 
m = mrgVal(x, j[1]) 

m：

([(0.2072, 82777.0), (0.20361902000000001, 77271.0)], 2) 
r = mrgCmb(m, m) 

r：

([(0.2072, 82777.0), (0.20361902000000001, 77271.0), (0.2072, 82777.0), (0.20361902000000001, 77271.0)], 4) 
cmb = jnd.combineByKey(creCmb, mrgVal, mrgCmb) 
cmb.count() 
4513 
cmb.take(1) 
[(u'14225532026000', ([56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, ... 
... 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0, 56917.0], 741))] 

Answer 1

combineByKeyのみ値各行のにそれに設けられた関数を呼び出します。 creCmbとmrgValの場合、vの代わりにv[1]を使用すると、各値タプルの2番目の要素のみが保持され、最後に単一要素のリストが生成されます。あなたのテストでは、ちょうど値タプルの代わりにキーと値のペアでcreCmbを呼び出します。そのため、テスト出力は正しいものの、combineByKey出力は正しくありません。この問題を解決するには

、単にcreCmbとmrgVal両方から[1]インデックスを削除します。

creCmb = (lambda v: ([v], 1)) 
mrgVal = (lambda x, v: (x[0]+[v], x[1]+1))