JupyterのノートブックPysparkカーネルでiPythonのinbuild magicコマンドを使用するには？

Question

私は、Anaconda v4.0.0（Python 2.7.11）を使用して、のJupyter NotebookにインストールされたPySparkカーネルを使用しています。 Hiveからテーブルを取得した後、以下のようにチュートリアル以下、Jupyterノートブック内のいくつかのグラフをプロットするためにmatplotlib/pandaを使用します。

%matplotlib inline 
import pandas as pd 
import numpy as np 
import matplotlib.pyplot as plt 

# Set some Pandas options 
pd.set_option('display.notebook_repr_html', False) 
pd.set_option('display.max_columns', 20) 
pd.set_option('display.max_rows', 25) 

normals = pd.Series(np.random.normal(size=10)) 
normals.plot() 

私は

を示し％のmatplotlibのインラインを使用しようとしたとき、私は最初のリンクで立ち往生しました。 Toree Magicと MagicManagerを見てみると

Name: Error parsing magics! 
Message: Magics [matplotlib] do not exist! 
StackTrace: 

は、私は%matplotlibではなくiPythonでビルド魔法のコマンドのMagicManagerを呼び出していることに気づきました。

Apache Toree - PySparkでは、代わりにiPython in-build magicコマンドを使用できますか？

Answer 1

Toree PySpark kernelの代わりに、PySparkとmagicコマンドをインストールする代わりに、解凍しました。PySpark directly on Jupyter Notebookを使用しています。

1. をダウンロードしてインストールしAnaconda2 4.0.0

2. ダウンロードSpark 1.6.0事前に構築された次のコマンドを使用してHadoop 2.6

3. 追加~/.bashrcためと

   ＃が火花を実行するために追加の環境変数を更新するためにsource ~/.bashrcを入力してください
   エクスポートPATH = "{your_spark_dir }火花/ sbinに：$ PATH」
   輸出PATHは= "{your_spark_dir}火花/ binに：$ PATHに"

   位
   輸出JAVA_HOME =は/ usr/libに/ JVM/javaのクラスタモードでスパークアプリケーションを起動するために追加専用クラスタスパーク エクスポートHADOOP_CONF_DIR = {your_hadoop_conf}/Hadoopの-CONF
   エクスポートYARN_CONF_DIR = {your_hadoop_conf}/Hadoopの-CONF

   必要次の2行はオプションである-8- OpenJDKの-AMD64/JREを

   ＃ ＃Anaconda2 4.0.0インストーラによって追加されました
   輸出PATHは= "{your_anaconda_dir} /アナコンダは、/ binに：$ PATHには、"

   位jupyterノート
   輸出PYSPARK_DRIVER_PYTHON = {your_anaconda_dir} /アナコンダは、/ binに/ jupyter
   輸出PYSPARK_DRIVER_PYTHON_OPTS = "ノートブックにpysparkを実行するために追加しました - -NotebookApp.open_browser = False --NotebookApp.ip = '0.0.0.0' --NotebookApp。ポート= 8888"
   輸出PYSPARK_PYTHON = {your_anaconda_dir} /アナコンダは、/ binに/ pythonの

実行Jupyterノート

1. pyspark --master=yarn --deploy-mode=clientが実行されているノートブックを開始しPySpark in cluster mode

2. ブラウザを開き、IP_ADDRESS_OF_COMPUTER:8888

と入力します。

免責
これが唯一の回避策ではなく、問題あなたがinbuild魔法のコマンドipython Toree PySparkを動作させるための方法を見つけた場合は私に知らせてくださいを固定する実際の方法です。 %matplotlib notebook