2016-12-18 8 views
0

テキストファイルのデータをRDDとして読み込んでDataFrameに変換しても、目的の出力が得られません。ScalaでSparkのRDDからDataFrameへの変換中にTxtファイル内のデータを分割する問題

コード -

hyundai honda 
honda maruti 
maruti honda 

出力 - テキストcar.txtファイル内

case class Text(field: String) 

データクラス - ケースクラス

ケースです

val myFile = sc.textFile("car.txt") 
val df = myFile.map(_.split(" ")).map(line => Text(line(0))).toDF() 
df.show() 

実行中 -

+-------+ 
| field| 
+-------+ 
|hyundai| 
| honda| 
| maruti| 
+-------+ 

DataFrameのテキストファイルからすべてのデータを取得できないのはなぜですか?あなたは、スペース上のsplitティンのデータがあり、その後だけが(最初の単語)の最初の要素を出力するため

答えて

2

それはだ - >line(0)

あなただけの行をしたい場合は、あなたが、その後.map(_.split(" "))とを切り取ることができますline(0)なし)

関連する問題