Spark DataFrameのnull以外の値の数を数えます

Question

私はいくつかの列を持つデータフレームを持っています。分析を行う前に、そのデータフレームの完成度を知りたいので、データフレームをフィルタリングしたい各列の非ヌル値の数をカウントし、場合によってはデータフレームを戻します。

基本的に、私はthis questionで表現と同じ結果を達成しようとしているが、Scalaの代わりにPythonのを使用しています...

は、あなたが持っていると言う：

val row = Row("x", "y", "z") 
val df = sc.parallelize(Seq(row(0, 4, 3), row(None, 3, 4), row(None, None, 5))).toDF() 

どのように非の数をまとめることができます各列に対して-nullを指定し、同じ数の列と答えがある単一行のデータフレームを返しますか？

Answer 1

を非NULL値の数だけはあまり教えてくれないので、「あなたのような何かを行うことができます

...、ヌル値の割合で、より興味がある：

import org.apache.spark.sql.functions.{sum,when} 

df.agg(
    sum(when($"x".isNotNull,0).otherwise(1)).divide(sum(when($"x".isNotNull,1).otherwise(1))).as("x : fraction null"), 
    sum(when($"y".isNotNull,0).otherwise(1)).divide(sum(when($"y".isNotNull,1).otherwise(1))).as("y : fraction null"), 
    sum(when($"z".isNotNull,0).otherwise(1)).divide(sum(when($"z".isNotNull,1).otherwise(1))).as("z : fraction null") 
).show() 

Answer 2

一つまっすぐ進むオプションがカウント行が非NULL値の数を含み、データフレームの概要、取得するには.describe()機能を使用することです：私は、多くの場合、私はPsidomsの答えを好むが、

df.describe().filter($"summary" === "count").show 
+-------+---+---+---+ 
|summary| x| y| z| 
+-------+---+---+---+ 
| count| 1| 2| 3| 
+-------+---+---+---+