AWS EMRインスタンスでspark経由でJDBCドライバにアクセスできない

Question

EMR spark-shell --packages org.postgresql:postgresql:9.4-1206-jdbc42にsshした後、spark-shellを実行するとpostgresqlドライバパッケージをインストールしました。その後、org.postgresqlをインポートします。私はspark Dataframeオブジェクトを作成したいので、s3インスタンスからテーブルにアクセスしようとします。

sqlContext.load("jdbc", Map("url" -> "jdbc:postgresql://pathto.table.region.rds.amazonaws.com:5432/table?user=username&password=password","dbtable" -> "table"))

これは私にjava.sql.SQLException: No suitable driverエラーになります。

私はthisの質問を同様の問題で調べました。しかし、私はスパークシェルを介してドライバを実行できるようにしたい。

Answer 1

私が間違っていない場合は、（申し訳ありませんが、私は今それをテストするコンピュータを持っていません）オプションマップの中にドライバクラスを明示的に設定する必要があります。

sqlContext.load("jdbc", 
     Map("driver" -> "org.postgresql.Driver", 
      "url" -> "jdbc:postgresql://pathto.table.region.rds.amazonaws.com:5432/table?user=username&password=password", 
      "dbtable" -> "table")) 

PS：私の電話でこの回答を書いていますが、最終的な入力ミスを許してください。しかし、私はあなたがその考えを得ると思う。