Seq [Seq [（Double、Double）]]の場合の入力としてRDD [（Double、Double）]を期待する関数の使い方は？

Question

私はタイプSeq[Seq[(Double, Double)]]の変数を持っている：

val output: Seq[Seq[(Double, Double)]] = runStreams(ssc, numBatches, numBatches) 

今、私は、入力としてRDD[(Double, Double)]を取る関数RegressionMetrics適用したい：

val metrics = new RegressionMetrics(output) 

RDDにSeq[Seq[(Double, Double)]]を変換する方法を、[（ダブル、 Double）] `クラスRegressionMetricsの関数を使用できるようにするには？

Answer 1

RDDあなたはに「接続」または「ハンドル」と考えることができ、SparkContextのインスタンスが必要になりますRDDを作成するには分散弾力性のあるデータセットのためのApacheのスパークの抽象化

ですクラスタはApache Sparkを実行しています。

• あなたはが、これらは現在に「分割」されている道を無視して、あなたが(Double, Double)値の「フラット」シーケンスとして、あなたの入力を扱いたいSparkContext
• をインスタンス化していますを想定し

  サブシーケンスのサブシーケンスSeq[Seq[(Double, Double)]]

次のようにRDDを作成できます。

val sc: SparkContext = ??? 
val output: Seq[Seq[(Double, Double)]] = ??? 

val rdd: RDD[(Double, Double)] = sc.parallelize(output.flatten)