PySpark RDDでは、foreachPartition（）を使って各パーティションの最初のレコードを印刷する方法は？

Question

In PySpark RDD foreachPartition（）を使用して各パーティションの最初のレコードを印刷する方法は？

Answer 1

あなたはこれを行うことができます。これは、各で印刷すること

rdd1 = sc.parallelize([1, 2, 3, 4, 5]) 
rdd1..foreachPartition(f) 

注：次のようにあなたは、これらの機能のいずれかを適用し、その後

def f(iterator): 
    print(iterator.next()) 

または

def f(iterator): 
    print(list(iterator)[0]) 

を火花の労働者。

詳細については、ドキュメントを参照してください。here