Apache Spark 1.6.1のClass.forNameマップ

Question

コンパイル時に依存しない2つのモジュールを持つspark scala 1.6.1_2.10プロジェクトがあります。最初のモジュールはスパークドライバアプリを起動しています。 最初のモジュールで、rdd.map {}オペレーションの1つで、リフレクションclass.forName（ "second.module.function.MapOperation"）を使用してクラスをロードしようとしています。

spark-submitには、モジュール1をプライマリ、その他を--jarsオプションで指定します。

このコードは、ローカルのintellijで正常に動作します。 ClassNotFound second.module.function.MapOperation on cluster 同じクラスをテストすると、ClassNotFoundの機能テストケースでも失敗します。

私はクラスローダーに問題があり、スパークジョブ/操作でClass.forNameを使用していますか？

Answer 1

jdをhdfsに入れて、spark submitにそのパスを提供する必要があります。

このようにして、すべてのスパークプロセスはクラスにアクセスできます。