2016-08-26 9 views
0

AzureでHDInsight Sparkクラスタを使用していますが、Jupyterは外部依存関係を追加できません。私は意図的な間違い作る場合HDInsight Jupyterに外部依存関係を追加するにはどうすればよいですか?

enter image description here

しかし、::これを試し

%%configure 
{ "packages":["com.websudos:phantom_2.10:1.27.111111111111"] } 

をこれはちょうどそれらをロードしていない、パッケージを解決しようとしていますか?

enter image description here この機能を動作させる他の方法はありますか?

答えて

1

使用しているパッケージが正しいものではありません。意図的な間違いは実際にあなたがそのパッケージを解決できないことを伝えています。

それは、彼らがスパークサポートを上に構築されたものですので、あなたが実際に使用する場合がありますパッケージがcom.websudos:phantom-sparkあるようですか? Link

%%configure -f 
{ "packages":["com.websudos:phantom-spark_2.10:1.8.0"] } 

、その後、あなたは

import com.websudos.phantom.spark._ 

をインポートすることができますあなたが望むことはスパーク・カサンドラのコネクタである場合は、datastax connectorが使用する1つのようです。

私はカッサンドラでスパークを使ったことはありませんでしたので、オンラインでチュートリアルを設定してください。

+0

これは私がよく理解するようになったことです。ファントムはsparkのコード配布をサポートしておらず、それらのパッケージだけがjupyterで作業していません(私がspark-submitすると動作します)。ファントムスパークはAFAIKのオープンソースではありません。そしてyes、spark-cassandra-connectorはデータフレームの保存に役立ちますが、カスタムのものにはcassandraのカウンタを使用したかったのですが、とにかく感謝します! – ixaxaar

+0

実行しているspark-submitコマンドとそれが動作することを証明するコードを共有できますか? – aggFTW

+0

申し訳ありませんが、cant。 AWSに移動しました。 – ixaxaar

関連する問題