RDDの各要素をPythonでスパークする方法は？

Question

私はその要素として文を持つRDDを持っています。すべての文をスペースで区切り、分割によって返されたリストではなくRDDの要素になるようにmap（）とsplit（） （）？

Answer 1

RDDの各単語を取得するには、flatMap（）を使用して、RDD [String]を取得する必要があります。以下のように試してください

val rdd=sc.textFile(filePath) 
rdd.flatMap(line=>line.split(" ")) 

上記のコードは、Pythonで対応するコードを記述してください。