ローカルマシンにboto3
をインストールしてから、ローカルモードでspook-submitを実行しましたが、boto3
がインストールされているディレクトリにパスを渡しました。次のコマンドを実行します。インストール後にpipモジュールをインポートできません
spark-submit --conf spark.driver.extraClassPath=/Library/Python/2.7/site-packages app.py
そして、私のapp.py
でimport boto3
が、それは恐ろしいmodule not found
エラーがスローされます。
spark-submitジョブにpipインストールされたpython依存関係を追加する正しい方法ですか?
クラスタ内の他のすべてのノードに 'boto3'がインストールされていますか? –
@ cricket_007クラスタ内に他のノードはありません。これは単一ノードローカルモードです。ローカルのデスクトップコンピュータにインストールします。 – Kristian
そしてPySparkの外でそれを実行することはできますか? –