Apache Spark Javaでnullの場合、行の値を別の値に置き換えます。

Question

JavaでApache Spark 1.6.2を使用しています。

私が含むデータフレームがあります。

• CREATION_DATEフィールドに日付、
• close_dateフィールドに終了日を。

ビジネスがクローズされていない場合、close_dateの値はnullです。

私はしたいと思います：

• はlast_date_business
• と呼ばれる私のデータフレームに余分な列が

）close_dateがnullの場合は、（CURRENT_DATEを使用

close_dateの値でそれを埋める追加

私はそれを行うためにスパークを頼むことができますか私はそれを手動で行う必要がありますか？

Answer 1

あなたがここに必要なのは​​3210次のとおりです。

import static org.apache.spark.sql.functions.*; 

df.withColumn("last_date_business", coalesce(col("close_date"), current_date()));