{Key、Value}のRDDペアの値にキーを追加する方法と、それをrddに変換する方法は？

Question

私は2つのFILE1内のファイル、FILE2データセット・ディレクトリで過ごしていたとします。私は値を持つRDD取得しようとしています上記のコードでは

val file = sc.wholeTextFiles("file:///root/data/dataset").map((x,y) => y + "," + x)

： - RDD

に単一の値として>値、キーを

仮定するファイル名がFILE1あると言う2つのレコード：

file1: 

1,30,ssr 

2,43,svr 

そして

file2: 

1,30,psr 

2,43,pvr 

希望RDD出力は次のようになります。

(1,30,ssr,file1),(2,43,svr,file1),(1,30,psr,file2),(2,43,pvr,file2) 

我々はこれを達成することはできますか？可能であれば 私を助けてください！

Answer 1

var files = sc.wholeTextFiles("file:///root/data/dataset") 

var yourNeededRdd = files 
    .flatMap({ 
    case (filePath, fileContent) => { 
     val fileName = filePath.split('/).last 
     fileContent.split("\n").map(line => line + "," + fileName) 
    } 
    })