PySparkのカウント・カラムへのアクセス

Question

code: 

mydf = testDF.groupBy(testDF.word).count() 
mydf.show() 

output: 

+-----------+-----+ 
|  word|count| 
+-----------+-----+ 
|  she| 2208| 
| mothers| 93| 
|  poet| 59| 
|  moving| 18| 
|  active| 6| 
|  foot| 169| 

このデータ・フレームは、ワード・カウントに基づいて降順で並べ替える必要がありました。

code: 

countDF = mydf.orderBy(mydf.count.desc()) 
countDF.show() 

Error: 

AttributeError: 'function' object has no attribute 'desc' 

どこが間違っているのか教えてください。

Answer 1

ドット表記は、列にアクセスする最も良い方法ではありません。

mydf.orderBy(mydf["count"].desc()) 

またはcol機能：

from pyspark.sql.functions import col 

mydf.orderBy(col("count").desc()) 

DataFrameが意識列 __getattr__を提供していますが、あなたはその代わりに、ブラケット表記を使用することをお勧めします名前（ここでは DataFrame.count）メソッドに解決され、この1のような競合が発生することができます

を参照する列。