2016-04-27 13 views
4

私は、HDP insight 2.4.1.1-3のAzureクラスターでドルイド0.9.0を実行しています。 hadoopクライアントは2.7.1です。 は、具体的には、ジャクソンの問題を解決するための無数の試みの後:JacksonライブラリーのHadoopとDruidの非互換性の問題

Error: class com.fasterxml.jackson.datatype.guava.deser.HostAndPortDeserializer overrides final method deserialize. 

を私は無駄にここ

https://github.com/druid-io/druid/blob/master/docs/content/operations/other-hadoop.md

文書化され、すべての回避策を試してみましまし。

同じ問題に直面している別のユーザーが示唆しているように、jackson依存関係を陰影付けして再コンパイルできませんでした。

私が試した最後のケースは、次のような結果と私のインデックス作成タスクのの

"mapreduce.job.user.classpath.first": "true" 

jobPropertiesにプロパティを追加しました:我々は、インデックス作成ジョブを実行しようとしている

Diagnostics: Exception from container-launch. 
Container id: container_e02_1461544451524_0047_05_000001 
Exit code: 1 
Stack trace: ExitCodeException exitCode=1: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:576) 
    at org.apache.hadoop.util.Shell.run(Shell.java:487) 
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:753) 
    at org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor.launchContainer(LinuxContainerExecutor.java:371) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:303) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:262) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
    at java.lang.Thread.run(Thread.java:745) 
Shell output: main : command provided 1 
main : run as user is nobody 
main : requested yarn user is druid 

ご協力いただければ幸いです。誰もが同じセットアップで成功しましたか?

答えて

0

jackson-datatype-guavaのバージョンには、jackson-databindとは異なるマイナーバージョンがあります。おそらくグアバ1は新しいです。バージョンは一致する必要がありますが、いくつかの組み合わせは機能します。あなたが持っているものはありません。おそらく、jackson-databindの一部の以前のバージョンでは特定のメソッドがfinalとなっていますが、それ以降のバージョンでは制限が緩和されている可能性があります。