Apache Spark環境へのMySQLとPostgreSQLコネクタの追加

Question

私のプログラムでは、MySQLとPostgreSQLの両方のコネクタが必要です。 私は両方のコネクタをダウンロードしました。私は1つずつそれを実行できます。私は両方のコネクタを実行しようとしたときに両方私は失敗しました。

私は、このコマンドで唯一のMySQLコネクタを実行します。

./spark-submit --driver-class-path /home/mysql-connector-java-5.1.37-bin.jar --class learner.run.package --master local[8] --executor-memory 8G /home/project_2.10-1.0.jar 

をそして、私は私のクラスパスにPostgreSQLのコネクタを追加したいとき、私は--jarsオプションを指定して、私のコマンドを並び替え：

./spark-submit --master local[8] --executor-memory 8G --class learner.run.package --driver-class-path --jars /home/postgresql-9.4.1208.jre6.jar /home/mysql-connector-java-5.1.37-bin.jar /home/merve/Desktop/v1/target/scala-2.10/project_2.10-1.0.jar 

しかし、それは私を与えましたこのエラー：

java.lang.ClassNotFoundException: learner.run.package 

また、これらのコネクタはspark-env.shに次の行を追加してクラスパスを刺激します

SPARK_CLASSPATH= /home/mysql-connector-java-5.1.37-bin.jar 

しかし、それは、MySQLコネクタを見つけることができませんでした。

最後に私は.setJars()オプションを試しましたが、うまくいきませんでした。

これらの2つのコネクタでspark-submitを実行するにはどうしたらよいですか？またはこれらのコネクタをクラスパスに追加するにはどうすればよいですか？いくつかの問題

Answer 1

：

• ​​は、句読点（:）
• --jarsで区切る必要がありますが、コンマ（,）で区切る必要があり
• の両方が（あなたが--driver-class-path --jars some-pathを行うことはできません）別途渡さなければなりません。

spark-submit --driver-class-path some-path:another-path \ 
      --jars some-path,another-path 
      ...