Pysparkエラー：py4j.Py4JException：メソッド__getnewargs __（[]）私は次のエラーを解決しようとしていますエラー

Question

が存在しません（私はdatabricksプラットフォームを使用していますが、2.0をスパーク）

tweets_cleaned.createOrReplaceTempView("tweets_cleanedSQL") 
def Occ(keyword): 
    occurences = spark.sql("SELECT * \ 
           FROM tweets_cleanedSQL \ 
           WHERE LOWER(text) LIKE '%" + keyword + "%' \ 
          ") 
    return occurences.count() 


occurences_udf = udf(Occ) 

もし私が

py4j.Py4JException：このコードを実行、私は次のエラーが表示され、UDFを定義しようとすると、メソッドgetnewargsは（[]）が存在しない==>エラーにのみ発生します。

Answer 1

UDF関数は、通常の関数を、入力列の任意の要素に適用される関数に変えます。この関数はspark関数を呼び出すことはできません（この場合はspark.sqlを呼び出すため、サポートされていないワーカーなどを作成する必要があります）