私はHomebrewを使ってSparkとScalaをインストールしました。私はスパークシェルを実行することができます。また、Spark-IDEをusr/local/share
(これが正しい方法であるかどうか)に配置してインストールし、シンボリックリンクをApplicationsフォルダに配置しました。今、私はScalaで書かれたSparkアプリケーションをEclipse内で実行したいと思っています。それ、どうやったら出来るの?MacでScala Sparkアプリケーションを実行
1
A
答えて
0
Apacheのスパークジョブを作成および実行する方法を一般的な方法はにある:
1、パッケージを作成 - 通常jarファイル - あなたが例えば達人でそれをパッケージ化することができます。
2、スパーク提出
- ジョブを開始し、提出方法(または正しく)いくつかの方法がありますが、あなたのスパークジョブが実行する必要があります - その通常ので、マスター
- によって定義され、あなたが瓶を持っているときフォルダ/ビンを刺激するために行くことができます仕事を持つパッケージ -
./bin/spark-submit --class MainClass.class --master local[2] <application-jar>
がありますは、ジョブ
master
ため
MainClass.class
エントリポイントのjarファイルとしてスパークジョブパッケージです - apacheのスパークジョブは通常、クラスタに提出されていますが、テストの目的のために、あなたはマスターとして地元を使用することができます。ここの番号は、ジョブ実行のスレッド数を定義します。
- あなたは(テストなどなど)日食の内部でスパークアプリケーションを起動したい場合は、単にプログラムでSparkContextを作成 - SparkConfと実行を使用してマスターとして設定されているローカル(私は火花が
HADOOP_HOME
環境変数が必要になると思う - その場合にはhadoopをダウンロードして$HADOOP_HOME
に設定してください)
関連する問題
- 1. Scalaの[行] Spark
- 2. spark scalaでmysqlクエリを高速に実行する方法
- 3. OutOfMemory Spark Scalaシェルで実行中の例外
- 4. 糸のSparkジョブのアプリケーション実行監視
- 5. Spark Cassandraアプリケーションは常に実行モード
- 6. ScalaとSparkを実行する際のエラー
- 7. Mavenを使ったScala Sparkプロジェクトのパッケージ化と実行
- 8. 実行時のScala/Javaアプリケーションのリモートプロビジョニング
- 9. Spark 1.6 scalaデータ行を作成
- 10. Macアプリケーションの実行方法Javaから?
- 11. Macでアプリケーションの自動実行を行う方法は?
- 12. Scala - spark-corenlp - java.lang.ClassNotFoundException
- 13. spark-submit scala、ClassNotFoundException
- 14. Spark-Scala接続
- 15. Scala - Spark-corenlp - java.lang.NoClassDefFoundError
- 16. Spark scala Dataframe isin
- 17. SparkのRankingMetrics(Scala)
- 18. Apache ZeppelinでSparkを実行
- 19. Bluemixでシェルコマンドを実行する方法sparkノートブックでscalaを実行していますか?
- 20. Spark scala - 2行のコンディションでcount()を行う方法
- 21. EclipseでScalaとSBTを使用するSparkアプリケーション
- 22. intellijでSpark-Scalaの例を実行中にエラーが発生しました
- 23. Scala、SparkLauncherはプログラムを実行できません "/etc/spark/conf.cloudera.CD-SPARK_ON_YARN-brkvSOzr/yarn-conf/topology.py"
- 24. ScalaとSparkで2つのプロセスを並列に実行するには?
- 25. RunTime Macで実行
- 26. Mac OS XでC#/ WPFアプリケーションを実行できますか?
- 27. Scala 2.10でsparkとMongoDBアプリケーションが作成されました。
- 28. Spark Scalaデータフレーム変換
- 29. Spark Scala - TokenizerExample - Intellij Error
- 30. Scala spark、listbuffer is empty
EclipseにSparkライブラリが表示されるようにするにはどうすればよいですか? Sparkライブラリをアプリケーションにインポートするにはどうすればよいですか? – ogogmad
@jkabrg Eclipseは単なるIDEです。依存関係をどのようにプロジェクトに含めるかによって異なります。あなたはmavenまたは同様のツールを使用できます。 – VladoDemcak
私はステップ1に興味があると思います。 – ogogmad