Dataframeの使用からValueErrorを処理する方法Scala

Question

私はScalaを使ってSparkを開発していますが、私はScalaの背景を持っていません。私はまだValueErrorを取得していませんが、自分のコードに対してValueErrorハンドラを準備しています。

|location|arrDate|deptDate| 
|JFK  |1201 |1209 | 
|LAX  |1208 |1212 | 
|NYC  |  |1209 | 
|22  |1201 |1209 | 
|SFO  |1202 |1209 | 

私たちは、このようなデータを持っている場合、私はその後、Error.datに第三行と第四行を保存し、再び5番目の行を処理したいと思います。エラーログには、どのファイル、行番号、エラーの詳細などの情報を記述したいと思います。ロガーについては、私は現在log4jを使用しています。

この機能を実装する最善の方法は何ですか？みんな助けてくれますか？

Answer 1

私はすべての3つの列が文字列型であると仮定しています。その場合、私は以下のスニペットを使用してこれを解決します。私はエラーレコードを確認するために2つのudfを作成しました。

• フィールドは、[isNumber]
• 数字だけを持っている場合、文字列フィールドには、どのような条件3'rdの[isEmpty]

コードスニペット

import org.apache.spark.sql.functions.row_number 
import org.apache.spark.sql.expressions.Window 
import org.apache.spark.sql.functions.udf 

val df = rdd.zipWithIndex.map({case ((x,y,z),index) => (index+1,x,y,z)}).toDF("row_num", "c1", "c2", "c3") 
val isNumber = udf((x: String) => x.replaceAll("\\d","") == "") 
val isEmpty = udf((x: String) => x.trim.length==0) 
val errDF = df.filter(isNumber($"c1") || isEmpty($"c2")) 
val validDF = df.filter(!(isNumber($"c1") || isEmpty($"c2"))) 


scala> df.show() 
+-------+---+-----+-----+ 
|row_num| c1| c2| c3| 
+-------+---+-----+-----+ 
|  1|JFK| 1201| 1209| 
|  2|LAX| 1208| 1212| 
|  3|NYC|  | 1209| 
|  4| 22| 1201| 1209| 
|  5|SFO| 1202| 1209| 
+-------+---+-----+-----+ 

scala> errDF.show() 
+-------+---+----+----+ 
|row_num| c1| c2| c3| 
+-------+---+----+----+ 
|  3|NYC| |1209| 
|  4| 22|1201|1209| 
+-------+---+----+----+