pysparkでのカウントとゴロピー相当

Question

私はSparkを初めて使用しています。私は属性のgroupbyとcountをデータフレームdfに適用しようとしています。

私は、出力は次のようになりpysparkため、次のパンダコード

df.groupby(['users'])['users'].transform('count') 

と同等のものを見つけたい、これはパンダ

 users     comments 
0  1 Hi I heard about Spark 
1  1   Spark is awesome 
2  2      None 
3  2 And I don't know why 
4  3    Blah blah 

であるように見えます

import pandas as pd 

comments = [ (1, "Hi I heard about Spark"), 
    (1, "Spark is awesome"), 
    (2, None), 
    (2, "And I don't know why..."), 
    (3, "Blah blah")] 

df = pd.DataFrame(comments) 
df.columns = ["users", "comments"] 

：

0 2 
1 2 
2 2 
3 2 
4 1 
dtype: int64 

お手伝いできますか私はこれをどのように実装することができますPySpark？

Answer 1

これは、pyspark：df.groupby('user').count()で機能するはずです。 pyspark groupby()でgroupBy()Pyspark docs are pretty easy reading with some good examples.

UPDATEの別名である：

今、私は、要求が少し良く理解していること、そのpysparkがまだ​​インプレースtransformサポートしている表示されません。 See this answer.

しかし、あなたは参加によってそれを行うことができます。

df2=df.groupby('users').count() 
df.join(df2, df.users==df2.users, "left")\ 
    .drop(df2.users).drop(df.comments) 

+-----+-----+ 
|users|count| 
+-----+-----+ 
| 1| 2| 
| 1| 2| 
| 3| 1| 
| 2| 2| 
| 2| 2| 
+-----+-----+