sc.textFile（）をforeachループ内で実行し、その上で共用体を実行する方法は？

Question

これは私が試してきたもので、私はここで火花を扱う初心者です！

私はこのコード

val ii=sc.parallelize(Seq(("e.txt"),("r.txt"))).foreach{i => sc.textFile(i)} 

を実行しようとしているが、私は

感謝を "にNullPointer例外" を取得しています！

Answer 1

sc.textFileに複数のファイルを追加することができます。マップ操作の内部でscを使用しないでください。 map関数は、異なるエグゼキュータに配布され、scはドライバに存在します。したがって、Nullpointer例外がスローされます。

a.txt contents:

a.txt:line1 
a.txt:line2 

b.txt contents:

b.txt:line1 
b.txt:line2 

スパークあなたは同じ操作で複数のファイルを追加することができます：

scala> sc.textFile("a.txt,b.txt").collect() 
res1: Array[String] = Array(a.txt:line1, a.txt:line2, b.txt:line1, b.txt:line2) 

は、このことができますし、スパークを楽しんでいる願っています！