スパークジョブを送信するときに、依存するjarを外部に追加する方法。 また、依存JarをアプリケーションJarでパッケージ化する方法も知っています。スタンドアロンクラスタでスパークジョブを送信する
2
A
答えて
1
これは人気の質問です、私はstackoverflowの中にいくつかの良い答えを探したが、私は尋ねたとおりにこれを答える何かを見つけられませんでしたので、私はここにこれを答えることを試みる:
最高ジョブを送信する方法は、スクリプトを使用することです。これは、実行中のクラスタがすでに存在していることを前提としています(分散またはローカル、重要ではありません)。
このスクリプトは$SPARK_HOME/bin/spark-submit
にあります。ここで
は一例です:
spark-submit --name "YourAppNameHere" --class com.path.to.main --master spark://localhost:7077 --driver-memory 1G --conf spark.executor.memory=4g --conf spark.cores.max=100 theUberJar.jar
あなたはあなたのメインクラスが配置されている場所を定義し、(クラスタが実行される)スパークマスターの場所、アプリに名前を付けます。必要に応じて、異なるパラメータを渡すことができます。最後の引数は、メインとすべての依存関係を含むuberJarの名前です。
theUberJar.jarは、アプリをパッケージ化する方法に関する2番目の質問に関連しています。 Scalaを使用している場合、最も良い方法は、sbt-assemblyを使用してsbtを使用し、uber jarを作成することです。ここで
手順は次のとおりです。
- は
sbt assembly
を使用して、あなたのユーバーのjarファイルを作成し、クラスタを起動し
- は(
$SPARK_HOME/sbin/start-all.sh)
- ステップ1
関連する問題
- 1. スケジューラプールでのスパークジョブの送信
- 2. 4ノードCDHクラスタでスパークジョブを送信する方法
- 3. スタンドアロンクラスタのサービスファブリック信頼性
- 4. oozieからスパークジョブを送信できません
- 5. Dataproc:REST APIを使用してスパークジョブを送信
- 6. スパークジョブをMesosに送信するときにユーザーを指定する方法
- 7. クラスタモードでjavaを使用してスパークジョブを送信および監視します
- 8. EMRにスパークジョブを送信するときにファイルが見つかりません
- 9. カスタムJVMでスタンドアロンクラスタをスパークする
- 10. ファイルをスタンドアロンクラスタのsparkでロードする
- 11. スタンドアロンクラスタでスパークタスクがランダムにブロックされる
- 12. IntelliJ Ideaでスタンドアロンクラスタ上のSparkを同じWindowsマシン上のマスタとスタンドアロンクラスタで実行する
- 13. YARNモードでスパークジョブが失敗する
- 14. スパークジョブのスケジューリングJava
- 15. スパークジョブのログ
- 16. spark-jobserverを使用してスパークジョブを送信中にエラーが発生しました
- 17. 生のHTMLをLaravelで送信し、パラメータを送信する/ var
- 18. 送信ボタンでフォームを送信
- 19. 入力キーでフォームを送信する/送信ボタン
- 20. 1回送信で複数のフォームを送信するには?
- 21. 並列スパークジョブを起動するには?
- 22. を送信する -
- 23. POST情報を送信するAjaxを送信するJquery - CodeIgniter
- 24. 送信する/電子メールを送信するフォームを取得
- 25. 送信されたメッセージとは別のスタイルで着信メッセージを送信する
- 26. JQuery内部から送信するフォームを送信する
- 27. Kafkaを使用して長時間実行されるスパークジョブ間の通信
- 28. Ajaxフォーム送信ボタン付きで送信
- 29. 送信ボタンで送信しないフォーム
- 30. 設定方法シングルクラスタ(スタンドアロンクラスタ)のシングルノードElasticSearch
これは 'spark-submit'スクリプト(https://spark.apache.org/docs/latest/submitting-applications.html)のドキュメントには書かれていませんか? ? – DNA
以下の回答は役に立ちましたか? – marios