PySparkで文字列値をNULLに置き換えるにはどうすればよいですか？

Question

は、私はこのような何かをしたい：

df.replace('empty-value', None, 'NAME') 

は基本的に、私はNULLでいくつかの値を置き換えたいです。この関数ではNoneを受け付けません。これどうやってするの？それはBatchPythonEvaluationを導入しない

from pyspark.sql.functions import when, lit, col 

df = sc.parallelize([(1, "foo"), (2, "bar")]).toDF(["x", "y"]) 

def replace(column, value): 
    return when(column != value, column).otherwise(lit(None)) 

df.withColumn("y", replace(col("y"), "bar")).show() 
## +---+----+ 
## | x| y| 
## +---+----+ 
## | 1| foo| 
## | 2|null| 
## +---+----+ 

とそのためUDFを使用するよりもはるかに効率的でなければなりません：

Answer 1

これはあなたのname列にNoneとempty-valueに置き換えられますwithColumnの最初のパラメータとして古い名前を使用することにより

[Row(key=1, name=None), Row(key=2, name=u'something else')] 

、それは実際に古いname列を置き換え新しいものはUDF出力によって生成されます。

Answer 2

あなたは次のようにNULLリテラルと型鋳造でwhen句を組み合わせることができます。

from pyspark.sql.functions import udf 
from pyspark.sql.types import StringType 


df = sc.parallelize([(1, "empty-value"), (2, "something else")]).toDF(["key", "name"]) 
new_column_udf = udf(lambda name: None if name == "empty-value" else name, StringType()) 
new_df = df.withColumn("name", new_column_udf(df.name)) 
new_df.collect() 

出力：