リモートでAzure HDInsightにジョブを送信

私はAzure HDInsight Sparkクラスタを設定しました。リモートでAzure HDInsightにジョブを送信

import org.apache.spark.api.java.JavaSparkContext; 
import org.apache.spark.api.java.JavaRDD; 
import org.apache.spark.SparkConf; 

public class App 
{ 
    public static void main(String[] args) 
    { 
     SparkConf conf = new SparkConf().setAppName("App").setMaster("spark://12.34.56.78:7077"); 
     JavaSparkContext sc = new JavaSparkContext(conf); 
    } 
}

クラスターは糸モードで作成されました。スパーク労働者のためのマスターは「糸クライアント」です。ホスト名またはIPアドレスに直接接続することが望ましいでしょう。

これについてはどのような良い方法がありますか？

出典

2017-02-01 Tempest Dave

Livyサービスを使用してリモートからジョブを送信できます。それを行う方法でこの文書をrefferしてください：あなたのコメントにジョブをサブミットする他の方法を回答https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-livy-rest-interface

出典

2017-02-01 17:46:59 maxiluk

私はLivyのようなソリューションから遠ざかりたいと思っています。他の方法はありますか？ HDInsightクラスタをYARNからスタンドアロンにダウングレードすると（Sparkマスタに直接ジョブを送ることができます） –

@TempestDave HDInsightをクラスタからスタンドアロンにダウングレードする理由がわかりません。 HDInsightをスタンドアロンモードとして手動で再設定することは可能ですが、HDInsightは変更されていないAzure VMのマルチインスタンスで作成されたものなので、Azureでは意味がありません。スタンドアロンHadoop/Sparkを使用する場合は、Azure VMの単一インスタンスに手動でインストールできます。 –

-1

、あなたはHDInsightスパークのためのREST API Batch Jobを使用しようとすることができ、それを知るために参照https://docs.microsoft.com/en-us/rest/api/hdinsightspark/hdinsight-spark-batch-jobを参照してください。。

出典

2017-02-02 08:00:46

これはまだLIVYを使用しています。 – bearrito

リモートでAzure HDInsightにジョブを送信

答えて

関連する問題