randomSplitは特定の重みを尊重しませんPySpark

Question

私はPySparkを使用していますが、ランダムにRDDをn個の公平な部分に分割する方法を探しています。

RDD = sc.parallelize(range(50)) 

マイコード：所与= [0.25、0.25、0.25、0.25]重みは、自分のコードは、（RDDが長として）exempleために与えることができることを知っ

from itertools import repeat 

def split_population_into_parts(rdd): 

    N = 4 

    weight_part = float(1)/float(N) 

    weights_list = list(repeat(weight_part, N)) 

    repartionned_rdd = rdd.randomSplit(weights = weights_list) 

    #And just to check what weights give, I did : 
    for i in repartionned_rdd: 

     print len(i.collect()) 


split_population_into_parts(rdd = RDD) 

：

9 
19 
11 
11 

なぜrandomSplitはここで重みを尊重しませんでしたか？私は、例えば、12,12,12,14の長さを持っているか、12,12,13,13としたいと思っています。これを行う最も効率的な方法は何ですか？ありがとうございました ！

Answer 1

等しい重みは、同じ数のレコードを保証するわけではありません。各オブジェクトが特定のサブセットに割り当てられる確率が等しいことを保証するだけです。

レコード数が少ない場合は、ここのような変動が見られます。これは正常な動作です。