私はapache-sparkとipythonで作業していて、ノートブックにcsvファイルをロードしようとしています。しかし、私はエラーが発生しています： Py4JJavaError: An error occurred while calling o22.load.
検索中に私はロードしてspark-csvこれが解決されることがわかった。私はWindowsのノートブックにspark-csvをロードする方法を知りたいのですが、誰かが私にこのエラーを解決するための別の方法を教えてもらいたいのですが。私はエラーのスクリーンショットをアップロードしました。Windowsのipython jupyterノートにSpark-csv-masterを追加するには？
私は同じ問題がありました。これは私が修正した方法です。私はアナコンダ3.5 jupyterノートブックとWindows 10を使用：
import os
import sys
SUBMIT_ARGS = "--packages com.databricks:spark-csv_2.11:1.4.0 pyspark-shell"
os.environ["PYSPARK_SUBMIT_ARGS"] = SUBMIT_ARGS
spark_home = os.environ.get('SPARK_HOME', None)
if not spark_home:
raise ValueError('SPARK_HOME environment variable is not set')
sys.path.insert(0, os.path.join(spark_home, 'python'))
sys.path.insert(0, os.path.join(spark_home, 'C:/spark/python/lib/py4j-0.9-src.zip'))
exec(open(os.path.join(spark_home, 'C:/spark/python/pyspark/shell.py')).read()) # python 3
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
df = sqlContext.read.format('com.databricks.spark.csv').options(header='true').load('C:/spark_data/train.csv')
df.show()
可能な複製（http://stackoverflow.com/questions/30757439/how [Apacheでの火花-CSVのような任意の新しいライブラリ構築済みバージョンを火花を追加する方法] add-any-new-library-like-spark-csv-in-apache-spark-prebuilt-version） – shivsn
それは重複していません。あなたがspash-csvをapacheのprebuiltバージョンで追加することについて尋ねたことと、私はjupyterノートブックを追加することについて質問しました。私はpy4jjavaのエラーを解決する他の方法についても尋ねました。 – Inam
ちょうどジャーまたはパッケージを追加すると、あなたのエラーは重複して解決されます。 – shivsn