ファイルを読み込み、スカラーで分割する方法

Question

ファイルがある場合（csv、txtなど）。私が望む

Scalaでこれを実行するための理想的な方法は何な

Array(Array(1.0,2.0),Array(4.0,5.0),Array(7.0, 8.0),Array(10.0,11.0),Array(13.0,14.0)) 

と

Array(3.0, 6.0, 9.0, 12.0, 15.0) 

などの2つの配列を取得しますか？

Answer 1

@Vitaliy Kotlyarenkoの答えに似

が、スパークのようなサードパーティ（スパークは、あなたのデータが大きい場合素晴らしいですが、それ以外はやり過ぎ）を使用せず：

val lines: Iterator[String] = scala.io.Source.fromFile("txt.csv").getLines() 
val matrix: Array[Array[Double]] = lines.map(_.split(",").map(_.trim.toDouble)).toArray 
val twoFirstColumns: Array[Array[Double]] = matrix.map(_.take(2)) 
val thirdColumn: Array[Double] = matrix.map(_(2)) 

Answer 2

val rdd = sc.textFile("1.csv").map(_.split(',').map(_.trim().toDouble)) 

rdd.map(_.take(2)).collect() 
res0: Array[Array[Double]] = Array(Array(1.0, 2.0), Array(4.0, 5.0), Array(7.0, 8.0), Array(10.0, 11.0), Array(13.0, 14.0)) 

rdd.map(_(2)).collect() 
res2: Array[Double] = Array(3.0, 6.0, 9.0, 12.0, 15.0) 

Answer 3

をあなたには両方の配列を取得することができますあなたは2倍のデータを横断する必要がないように1は、行く：

val (first, second) = { 
    io.Source.fromFile(name).getLines 
    .map(_.split(",").map(_.toDouble)) 
    .foldRight(Seq.empty[Array[Double]] -> Seq.empty[Double]) { 
     case (Array(x, y, z), (as, bs)) => (Array(x, y) +: as, z +: bs) 
    } 
} 

今、あなたは二つのリストではなく、その配列で終わります。あなたにとって重要なのは、first.toArrayとsecond.toArrayです。