Spark Cluster内のワーカーノード上のオブジェクトの早期初期化

Question

スタンドアロンクラスタでSparkでDroolsを使用しています。私は、スタートアップ時、つまりマップ削減タスクの前に、すべてのワーカーノードでナレッジセッションをロードしたいと考えています。私はドライバからスレーブノードにStatefullセッションを渡そうとしましたが、動作しません。このため、私の最初の仕事はナレッジビルダーにルールを追加するだけです。

Answer 1

final StatelessKnowledgeSession ksession = kbase.newStatelessKnowledgeSession(); 

ドライバのKnowledgeSessionの最終的な変数を作成し、そして、あなたが渡すことができ、すべてのワーカーノードにksessionオブジェクト、SO

lines.foreachRDD(new Function<JavaRDD<String>, Void>() { 
    public Void call(JavaRDD<String> rdd) throws Exception { 
     List<String> facts = rdd.collect(); 
     //Apply rules on facts here 
     ksession.execute(facts); 
     return null; 
    } 
});