スパークランチャーのハンドルとリスナーは状態を与えていません

Question

私はスパークランチャーライブラリを使ってClouderaスパーククラスターにスパークジョブを提出するWebアプリケーションを持っています。

クラスタにスパークジョブを正常に送信しています。ただし、リスナークラスのメソッドを呼び出すのではなく、返されたSparkAppHandleのgetState()も、ジョブがクラスタでの実行を終了した後も "UNKNOWN"から変更されません。

私はyarn-clusterモードを使用しています。ここに私のコードです。他に何かをする必要がありますか？アプリケーションが起動されるとSparkAppHandleへ

1. 追加リスナーインスタンス：

   SparkLauncher launcher = new SparkLauncher() 
             .setSparkHome("sparkhome") 
             .setMaster("yarn-cluster") 
             .setAppResource("spark job jar file") 
             .setMainClass("spark job driver class") 
             .setAppName("appname") 
             .addAppArgs(argsArray) 
             .setVerbose(true) 
             .addSparkArg("--verbose"); 
   
   SparkAppHandle handle = launcher.startApplication(new LauncherListener()); 
   
   int c = 0; 
   while(!handle.getState().isFinal()) { 
       LOG.info(">>>>>>>> state is= "+handle.getState()); 
       LOG.info(">>>>>>>> state is not final yet. counter= "+c++); 
       LOG.info(">>>>>>>> sleeping for a second"); 
       try { 
       Thread.sleep(1000L); 
       } catch (InterruptedException e) { 
       } 
       if(c == 200) 
       break; 
   } 
   

   は、ここで私はすでに試してみましたものです。 （起動中、およびSparkAppHandle上に設定することによって）の両方の方法で、（this）現在のクラスがSparkAppHandle.Listenerを実装作られ、それを通過

3. 少なくともIにより得Processオブジェクトに遮断することができるようにlauncher.launch()方法を使用しようとしましたクラスタ上でスパークジョブが終了するまでprocess.waitFor()メソッドを呼び出す。しかし、この場合、長時間実行されるスパークジョブの場合、このノードの対応するプロセスは返されません（1分または2分で終了するスパークジョブでは問題ありません）。

Answer 1

sparkユーザーメーリングリスト。この機能が動作するためには、スパークランチャーだけでなく、1.6.0である必要がありますが、基礎となるスパークも少なくとも1.6.0である必要があります。

私はspark 1.5.1と1.6.0バージョンのランチャーライブラリを使用しています。今度はspark clusterを1.6.0にアップデートしました。今ではlistenerメソッドへのコールバックを取得しています。