pyspark変更日、このコードで何が間違っている

Question

は、テストデータフレームを与える：

+---+--------------------+ 
| id|    date| 
+---+--------------------+ 
| a|2014-01-09 00:00:...| 
| b|2014-01-27 00:00:...| 
| c|2014-01-31 00:00:...| 
+---+--------------------+ 


root 
|-- id: string (nullable = true) 
|-- date: timestamp (nullable = true) 

それから私は、一日を変更するには、UDFを定義します日付列の：

：

def change_day_(date, day): 
    return date.replace(day=day) 

change_day = sf.udf(change_day_, sparktypes.TimestampType()) 
testdf.withColumn("PaidMonth", change_day(testdf.date, 1)).show(1) 

これは、エラーを発生させます

testdf.withColumn("PaidMonth", change_day(testdf.date, sf.lit(1))).show() 

代替答えは歓迎：ArthurTaccaさんのコメント@にの

Py4JError: An error occurred while calling z:org.apache.spark.sql.functions.col. Trace: 
py4j.Py4JException: Method col([class java.lang.Integer]) does not exist 
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318) 
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:339) 
    at py4j.Gateway.invoke(Gateway.java:274) 
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132) 
    at py4j.commands.CallCommand.execute(CallCommand.java:79) 
    at py4j.GatewayConnection.run(GatewayConnection.java:214) 
    at java.lang.Thread.run(Thread.java:745) 

Answer 1

複数の引数を受け取るudfは、複数のカラムを受け取るとみなされます。 "1"は列ではありません。

これは、次のいずれかを実行できることを意味します。コメントで示唆したように、列にする次のいずれかの点灯

testdf.withColumn("PaidMonth", change_day(testdf.date, lit(1))).show(1) 

は、（1）のもの

または元の関数は、高階関数を返すように列です：

def change_day_(day): 
    return lambda date: date.replace(day=day) 

change_day = sf.udf(change_day_(1), sparktypes.TimestampType()) 
testdf.withColumn("PaidMonth", change_day(testdf.date)).show(1) 

この基本的に1で置き換えられる関数を作成し、したがって整数を受け取ることができます。 udfは単一の列に適用されます。

Answer 2

おかげで、トリックは、このようpyspark.sql.functions.lit()機能を使用することです！