PySparkの設定

Question

私はScalaとSparkをインストールして動作させていますが、PySparkは動作していません。ここに出てはきイムを入れます：

user@ubuntu:~/spark$ pyspark 
Python 2.7.6 (default, Jun 22 2015, 17:58:13) 
[GCC 4.8.2] on linux2 
Type "help", "copyright", "credits" or "license" for more information. 
Traceback (most recent call last): 
    File "/home/user/spark/python/pyspark/shell.py", line 30, in <module> 
    import pyspark 
    File "pyspark.py", line 1, in <module> 
NameError: name 'sc' is not defined 

ここに私の.bashrcです：

export SPARK_HOME=/home/user/spark 
export PATH=$PATH:$SPARK_HOME/bin:$PATH 
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH 
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH 

私が間違って何をしているのですか？

ありがとうございます。

Answer 1

インポート競合が発生しているようです。あなたのパスのどこかに実際にpysparkパッケージの前に取り出されたpyspark.pyファイルがあります。

Answer 2

私は問題を再現できませんでしたが、なぜSPARK_HOME、PATH、およびPYTHONPATHを設定する必要があるのか​​わかりませんでした。 pysparkがpathで開始された場合、SparkContextはすでに作成されているはずです。
ipythonまたはpythonで始める場合は、findsparkパッケージを使用してSparkを検索し、SparkContextを作成します。

$ python 
>>> import findspark 
>>> findspark.init('/home/user/spark') 
>>> from pyspark import SparkContext 
>>> sc = SparkContext('local[4]', 'myapp')