HDInsight上のJupyterノートブックで独自のモジュールをインポート

Question

標準設定（Location = US East、Head Nodes = D12 v2（x2）、Worker Nodes = D4 v2（1）、またはそれ以降）でMicrosoft AzureにHDInsight 3.5 Spark ×4））。クラスタが実行されているとき、私はJupyterノートブックに接続し、自分で作成したモジュールをインポートしようとします。

import own_module 

これは、残念ながら動作しませんので、私は1に試してみました）ホームJupyterノートブックにown_module.pyアップロードし、2）SSH接続を介して/ホーム/ sshuserにown_module.py追加。その後私はのsys.pathとPYTHONPATHに/ホーム/ sshuserを追加しました：

sys.path.append('/home/sshuser') 
os.environ['PYTHONPATH'] = os.environ['PYTHONPATH'] + ':/home/sshuser' 

この操作はまた、動作しません。そして、エラーはまだ表示されます：

No module named own_module 
Traceback (most recent call last): 
ImportError: No module named own_module 

誰かが自分のモジュールをインポートする方法を教えてもらえますか？好ましくはそれらをAzureブロブストレージに入れ、その後それらをHDInsightクラスタに転送することにより、

Answer 1

スパークコンテキストのaddPyFileメソッドを使用できます。最初にファイルをAzureブロブストレージに入れて、パブリックhttp/httpsアドレスをコピーし、このURLをaddPyFileファンクションに使用します。このモジュールは、ドライバとすべてのエグゼキュータでアクセス可能です。