1
ドライバ/エグゼキュータモデルを使用してAWSでSparkを使用しようとしています。 s3へのアクセスを得るためにhadoop-aws jarとaws-sdk jarを使用できるようにドライバクラスパスを設定する方法はありません。私はs3から私の仕事の瓶を引っ張りたい。s3aを使用してドライバとエグゼキュータでスパークジャックを取得する
spark assembly jarにこれらのクラスをすべて追加する必要がありますか、spark-classスクリプトを修正してクラスパスにこれらのjarファイルを手動で追加する必要がありますか？
どのように侵入しにくい方法がありますか？つまり、これをどこかの設定で指定する方法はありますか？
私は1.6.1とhadoop 2.4を実行していますが、私も2.6（同じ問題）を使うことができます。私が正しく理解し、しかし、あなたは、同じことが--jarsコマンドラインオプションを指定することにより達成可能である必要がありspark.driver.extraClassPathを設定することができ、および/またはspark.driver.extraLibraryPath財産docs
私見に応じなければならない場合