私はsparkタスクでMaxMindのgeoIPを実行しようとしていますが、maxmindコールからjackson-databindライブラリへのNoSuchMethodExceptionを取得しています。私はmvn除外を使用して、他のすべてのバージョンのjackson-databindを削除しましたが、mvnをクリーンにした後もエラーは解決しません。私は何が欠けていますか?MaxMind GeoIp依存のNoSuchMethodException mvnシェードで構築されたjackson-databind
ない依存関係の競合:
mvn dependency:tree -Dverbose -Dincludes=com.fasterxml.jackson.core:jackson-databind ... [INFO] --- maven-dependency-plugin:2.8:tree (default-cli) @ sift-etl --- [INFO] com.sift.etl:sift-etl:jar:0.1.6 [INFO] \- com.maxmind.geoip2:geoip2:jar:2.6.0:compile [INFO] \- com.maxmind.db:maxmind-db:jar:1.2.0:compile [INFO] \- com.fasterxml.jackson.core:jackson-databind:jar:2.7.0:compile
エラー:
Exception in thread "main" java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.node.ArrayNode.<init>(Lcom/fasterxml/jackson/databind/node/JsonNodeFactory;Ljava/util/List;)V at com.maxmind.db.Decoder.decodeArray(Decoder.java:272)
編集:私は、org.codehaus.jackson
のトンを持っている私は、同様にこれらを除外する必要がありますか?名前空間の違いを解決するにはどうすればよいですか?
編集:これは、Apache Sparkで実行されるスケーラベースのプロジェクトに組み込まれています。ジャーのmaven-シェードプラグインを使用して日陰瓶にコンパイルされた2.4
編集:ここでは https://drive.google.com/file/d/0B2ZVKNsRXgTbeUdEU2ZhM2J3dmc/view?usp=sharing
ジャクソン、データバインドのためのgrepの結果です: ここ影瓶の瓶のTVFのための完全な出力です: 0 Mon Jan 25 09:53:54 PST 2016 META-INF/maven/com.fasterxml.jackson.core/jackson-databind/ 151 Mon Jan 25 09:53:54 PST 2016 META-INF/maven/com.fasterxml.jackson.core/jackson-databind/pom.properties 5192 Mon Jan 25 09:53:54 PST 2016 META-INF/maven/com.fasterxml.jackson.core/jackson-databind/pom.xml
とArrayNode:maxmindのGeoIP DBを初期化し、照会 /usr/lib/jvm/sift-jdk1.8.0_66/bin/jar -tvf target/sift-etl-0.1.6-shaded.jar | grep ArrayNode 15060 Sat Jan 23 01:33:14 UTC 2016 shaded/parquet/org/codehaus/jackson/node/ArrayNode.class 1309 Sat Jan 23 01:33:18 UTC 2016 org/apache/lucene/index/DocumentsWriterDeleteQueue$QueryArrayNode.class 1645 Sat Jan 23 01:33:18 UTC 2016 org/apache/lucene/index/DocumentsWriterDeleteQueue$TermArrayNode.class 18145 Sat Jan 23 01:33:20 UTC 2016 com/fasterxml/jackson/databind/node/ArrayNode.class 1058 Sat Jan 23 01:33:22 UTC 2016 org/apache/commons/configuration/plist/XMLPropertyListConfiguration$ArrayNode.class
はテストで正常に実行されます。このエラーは、sparkタスクとして実行された場合にのみ、生産時に発生します。これは、maven-shadeを使用してパッケージ化された後です。
のmaven-シェードプラグインの設定:http://pastebin.com/QzrhM5Ee
は、それが影付きのjarはジャクソンデータバインドjarファイルが含まれていますが、瓶内の* .classファイルのすべてのいないことを意味がありますか?
この問題は、 'spark-assembly.jar'の' jackson-databind'のバージョンに関連しているようです。ここで私の_ _ verbose_ trace: '[Loaded org.apache.spark。TaskContextImpl $$ anonfun $ markTaskCompletedファイルから$ 1:/home/vagrant/spark-1.6.1-bin-hadoop2.6/lib/spark-assembly-1.6.1-hadoop2.6.0.jar] ' – Stan