AzureでHDInsight Sparkクラスタを使用していますが、Jupyterは外部依存関係を追加できません。私は意図的な間違い作る場合HDInsight Jupyterに外部依存関係を追加するにはどうすればよいですか?
しかし、::これを試し
%%configure
{ "packages":["com.websudos:phantom_2.10:1.27.111111111111"] }
をこれはちょうどそれらをロードしていない、パッケージを解決しようとしていますか?
AzureでHDInsight Sparkクラスタを使用していますが、Jupyterは外部依存関係を追加できません。私は意図的な間違い作る場合HDInsight Jupyterに外部依存関係を追加するにはどうすればよいですか?
しかし、::これを試し
%%configure
{ "packages":["com.websudos:phantom_2.10:1.27.111111111111"] }
をこれはちょうどそれらをロードしていない、パッケージを解決しようとしていますか?
使用しているパッケージが正しいものではありません。意図的な間違いは実際にあなたがそのパッケージを解決できないことを伝えています。
それは、彼らがスパークサポートを上に構築されたものですので、あなたが実際に使用する場合がありますパッケージがcom.websudos:phantom-spark
あるようですか? Link
%%configure -f
{ "packages":["com.websudos:phantom-spark_2.10:1.8.0"] }
、その後、あなたは
import com.websudos.phantom.spark._
をインポートすることができますあなたが望むことはスパーク・カサンドラのコネクタである場合は、datastax connectorが使用する1つのようです。
私はカッサンドラでスパークを使ったことはありませんでしたので、オンラインでチュートリアルを設定してください。
HDInsightサイトからのこの記事はあなたを助けるかもしれない: https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-jupyter-notebook-use-external-packages/
私が知っているのは、私が試したことです。スクリーンショットで見ることができます。 – ixaxaar
これは私がよく理解するようになったことです。ファントムはsparkのコード配布をサポートしておらず、それらのパッケージだけがjupyterで作業していません(私がspark-submitすると動作します)。ファントムスパークはAFAIKのオープンソースではありません。そしてyes、spark-cassandra-connectorはデータフレームの保存に役立ちますが、カスタムのものにはcassandraのカウンタを使用したかったのですが、とにかく感謝します! – ixaxaar
実行しているspark-submitコマンドとそれが動作することを証明するコードを共有できますか? – aggFTW
申し訳ありませんが、cant。 AWSに移動しました。 – ixaxaar