2016-04-07 19 views
0

依存関係(対話型)sparkRの場合は、ジョブはどうですか?依存関係を持つSparkR雇用

私はjavaジョブがすべての依存関係を含んでいるfat-Jarとして提出できることを知っています。他のジョブの場合は、コマンドで--packagesオプションを指定できます。しかし、R(Rstudio)から私の小さなクラスターにsparkRを使って接続したいと思います。 (これはかなり前進しています)

しかし、私はいくつかの外部パッケージが必要です。データベース(Mongo、Cassandra)に接続したり、csvファイルを読むことができます。 モードでは、起動時にこれらのパッケージを簡単に指定できます。これは当然実行中のクラスタでは機能しません。 https://github.com/andypetrella/spark-notebookは、実行時にそのような外部パッケージをロードするための非常に便利なモードを提供します。

どのように私は、同様に負荷のmaven-コーディネートできるパッケージランタイム時の私のsparkR(インタラクティブセッション)から、またはdockerizedクラスタの画像作成中のいずれかの火花のクラスパスに?

+0

この回答は役に立ちそうです。http://stackoverflow.com/a/36474504/1314742 – user1314742

+0

ありがとうございました。これは面白い。しかし、パッケージに通常のmaven-coordinatesがある場合は、何らかの形で事前ロードする可能性がありますか? –

答えて

0

spark.driver.extraClassPathspark.executor.extraClassPathのファイルをSPARK_HOME/conf/spark-default.confに設定し、これらの変数の値をjarファイルのパスとして指定することもできます。ワーカーノードに同じパスが存在することを確認してください。 からNo suitable driver found for jdbc in Spark

関連する問題