Apache Spark Scalaでは、DataFrameのVectors.denseをCSVから埋め込む方法は？

Question

ワールド、

私はスパークするのが新しいです。

私はこのオンライン例気づいた：私はこの構文についての好奇心

http://spark.apache.org/docs/latest/ml-pipeline.html

を：

// Prepare training data from a list of (label, features) tuples. 
val training = spark.createDataFrame(Seq(
    (1.0, Vectors.dense(0.0, 1.1, 0.1)), 
    (0.0, Vectors.dense(2.0, 1.0, -1.0)), 
    (0.0, Vectors.dense(2.0, 1.3, 1.0)), 
    (1.0, Vectors.dense(0.0, 1.2, -0.5)) 
)).toDF("label", "features") 

は、それはCSVから値を読み込み、いくつかの構文に上記の呼び出しを置き換えることは可能ですか？

Python-Pandasのread_csv（）メソッドに匹敵するものが欲しいです。

Answer 1

答え：はい、CSVがHDFS上にある場合、あなたはそれを読むために火花-CSVを使用することができます

可能です：example、またはそのプレーンなスカラ座での場合は、単に読むことができ、通常のファイルシステム上の：example