RDDに渡すパッケージクライアント側のコード

Question

スカラ関数はrdd.map()に渡されます。ロジックは複雑すぎて関数自体に含めることができず、ロジックはスカラーobjectにカプセル化されています。

def func(s.String) = { 
    // LogicEngine is object which, given a string, returns a different string 
    LogicEngine.process(s) 
} 

val sc = new SparkContext(config) 

val rdd = sc.textFile(“…”) 

val rdd2 = rdd.map(func) 

質問はが上のノードに渡され、それ自体であるように、これを行うための正しい方法は何か、次のとおりです。次の例のように、オブジェクトは、スパークコンテキストをインスタンス化するアプリケーションの一部でありますrdd自体が処理されているので（クライアントに渡されるのではなく、rddに渡された関数コードと一緒に存在する）

ありがとうございました

Answer 1

これはあなたが既に持っているものです。各ノードは、最初にアクセスされたときにという独自のコピーをインスタンス化して使用します。