Dataproc：グラフフレームパッケージをインポートできないJupyter pysparkノート

Question

Dataprocスパーククラスタでは、グラフフレームパッケージはspark-shellで利用できますが、jupyter pysparkノートブックでは使用できません。

Pysparkカーネルの設定：以下は

PACKAGES_ARG='--packages graphframes:graphframes:0.2.0-spark2.0-s_2.11' 

初期化するためのCMDであるクラスタ：

gcloud dataproc clusters create my-dataproc-cluster --properties spark.jars.packages=com.databricks:graphframes:graphframes:0.2.0-spark2.0-s_2.11 --metadata "JUPYTER_PORT=8124,INIT_ACTIONS_REPO=https://github.com/{xyz}/dataproc-initialization-actions.git" --initialization-actions gs://dataproc-initialization-actions/jupyter/jupyter.sh --num-workers 2 --properties spark:spark.executorEnv.PYTHONHASHSEED=0,spark:spark.yarn.am.memory=1024m  --worker-machine-type=n1-standard-4 --master-machine-type=n1-standard-4 

Answer 1

これは、私がSPARK-15782に固定していたと思ったことを、スパークシェルと糸で古いバグですが、明らかにこの事件は逃した。

提案回避策は、インポートする前に

import os 
sc.addPyFile(os.path.expanduser('~/.ivy2/jars/graphframes_graphframes-0.2.0-spark2.0-s_2.11.jar')) 

を追加しています。

Answer 2

私はJupyterノートブック上で動作するパッケージを追加行うための別の方法を見つけました：

spark = SparkSession.builder \ 
.appName("Python Spark SQL") \ \ 
.config("spark.jars.packages", "graphframes:graphframes:0.5.0-spark2.1-s_2.11") \ 
.getOrCreate()