2016-10-10 10 views
0

私はsparkの使用に慣れていません。私のubuntuシステムにインストールした後、私は問題に直面しています。Spark、UbuntuのPysparkの問題

spong環境、mongo-hadoopコネクタをダウンロードしました。この後、PySpark(シェルを取得する)を実行すると、システムにjavaがあります。cmd行が見つからないか、pyspark_mongoパッケージをインポートします。それはそのようなライブラリを示していません。

私はそれがエラーを取得するスパーク/ binに提出pysparkや火花を実行しようとした場合: は、Sparkのjarファイルのディレクトリ(/spark/assembly/target/scala-2.10/jars)を見つけることができませんでした。 このプログラムを実行する前に、ターゲット "パッケージ"でSparkをビルドする必要があります。

私はデータ分析のためにこれが必要です。誰かが何をすることができるかアドバイスしてください。

+0

どこで入手できましたか?私も新しいです。 'spark.apache.org'から' spark-2.0.0-bin-hadoop2.7.tgz'をフォルダに解凍し、このフォルダ '。/ bin/pyspark'と' ./bin/run-example ' SparkPi'は私のために働いています - Linux Mint(Ubuntu 14ベース) – furas

+0

これらの例は、ディレクトリのヘルプのために提供されています。 あなたと同じソースからsparkを再ダウンロードしましたので、私のために働いています。 spark.apache.org/docs/2.0.1/quick-start.htmlを参照して、さまざまな言語のスパークに関する文書を参照することができます。 –

答えて

0

"pyspark"というコマンドが見つからないため、正しくインストールされていないとみなされます。デフォルトでは/ bin/pysparkとして利用可能です