は、IがCOL1の一意の組合せの最初の行だけを必要と私はデータフレームの次のデータを有するデータフレーム

Question

の列のユニークな組み合わせのため

col1 col2 col3 col4 
1  desc1 v1  v3 
2  desc2 v4  v2 
1  desc1 v4  v2 
2  desc2 v1  v3 

を任意の行を取得

Expected Output: 

col1 col2 col3 col4 
1  desc1 v1  v3 
2  desc2 v4  v2 

以下のようCOL2

これをpyspark（バージョン1.3.1）でどうすれば実現できますか？

データフレームをrddに変換してからmapおよびreduceByKey関数を適用し、結果rddをデータフレームに変換することで、同じことを試みました。データフレーム関数を使用して上記の操作を実行する他の方法はありますか？

Answer 1

あなたが任意の行をしたい場合は、firstやlastを使用しようとすることができますが、それははるかにきれいからであると私は真剣にスパークのアップグレードを検討します：

from pyspark.sql.functions import col, first 

df = sc.parallelize([ 
    (1, "desc1", "v1", "v3"), (2, "desc2", "v4", "v2"), 
    (1, "desc1", "v4", "v2"), (2, "desc2", "v1", "v3") 
]).toDF(["col1", "col2", "col3", "col4"]) 

keys = ["col1", "col2"] 
values = ["col3", "col4"] 
agg_exprs = [first(c).alias(c) for c in keys + ["vs_"]] 
select_exprs = keys + [ 
    "vs_.col{0} AS {1}".format(i + 1, v) for (i, v) in enumerate(values)] 

df_not_so_first = (df 
    .selectExpr("struct({}) AS vs_".format(",".join(values)), *keys) 
    .groupBy(*keys) 
    .agg(*agg_exprs) 
    .selectExpr(*select_exprs)) 

注この特定の文脈でfirstがないこと特定の行を選択すると、結果が確定的でない可能性があります。さらに、Sparkのバージョンによっては、個別の集計を個別にスケジュールすることもできます。それは

df.groupBy("col1", "col2").agg(first("col3"), first("col4")) 

がcol3を保証するものではありません。また、col4が同じ行から選択されることを意味します。