データフレーム内の空の値の計算：scala spark

Question

データフレームdfに複数の列column1,column2 ..があると仮定し、各列の空の値の数を求めます。それを行う方法は、次のように各列から移動することです：

しかし、1行で行う方法はありますか？

Answer 1

私は、集計のいくつかの種類を使用して、新しいデータフレームを構築することをお勧め：

df.agg(
     sum(when($"column1" !== "", 1).otherwise(0)), 
     sum(when($"column2" !== "", 1).otherwise(0)) 
    ) 

はEDIT：このコードものの

val ncols=2 
val cols = (1 to ncols) 
    .map(i=> sum(when(col("column"+i)!=="",1).otherwise(0))) 

df.agg(cols.head,cols.tail:_*)