pyspark sql dataframe nullのみ保持する

Question

私はSQLデータフレームdfを持っていて、カラムはuser_idです。データフレームをフィルタリングして保存するにはどうすればよいですか？user_idは、 pysparkモジュールページhereからは、簡単に行を削除できますが、その逆を行う方法は記述されていません。

試したdf.filter(df.user_id == 'null')ですが、結果は0列です。多分それは文字列 "null"を探しています。それは「NULL」

Answer 1

という名前の変数を探しているとしてもdf.filter(df.user_id == null)は試してみてください動作しません

df.filter(df.user_id.isNull())