Nifi org.apache.thrift.transport.TTransportException

Question

私はNifi 1.4.0とHive 2.3.0を持っています。 Metastore Serviceは正常に動作していますが、何らかの理由でNifiがPutHiveStreaming Processorを実行できません。

以下は完全なスタックです。これに関するどんな考えですか？ ApacheのNiFi 1.4.0で

 at org.apache.nifi.processors.hive.PutHiveStreaming.lambda$onHiveRecordsError$1(PutHiveStreaming.java:527) 
     at org.apache.nifi.processors.hive.PutHiveStreaming$$Lambda$392/1467727491.apply(Unknown Source) 
     at org.apache.nifi.processor.util.pattern.ExceptionHandler$OnError.lambda$andThen$0(ExceptionHandler.java:54) 
     at org.apache.nifi.processor.util.pattern.ExceptionHandler$OnError$$Lambda$394/2094052256.apply(Unknown Source) 
     at org.apache.nifi.processors.hive.PutHiveStreaming.lambda$onHiveRecordError$2(PutHiveStreaming.java:545) 
     at org.apache.nifi.processors.hive.PutHiveStreaming$$Lambda$389/23901131.apply(Unknown Source) 
     at org.apache.nifi.processor.util.pattern.ExceptionHandler.execute(ExceptionHandler.java:148) 
     at org.apache.nifi.processors.hive.PutHiveStreaming.lambda$onTrigger$12(PutHiveStreaming.java:677) 
     at org.apache.nifi.processors.hive.PutHiveStreaming$$Lambda$383/664174107.process(Unknown Source) 
     at org.apache.nifi.controller.repository.StandardProcessSession.read(StandardProcessSession.java:2174) 
     at org.apache.nifi.controller.repository.StandardProcessSession.read(StandardProcessSession.java:2144) 
     at org.apache.nifi.processors.hive.PutHiveStreaming.onTrigger(PutHiveStreaming.java:631) 
     at org.apache.nifi.processors.hive.PutHiveStreaming.lambda$onTrigger$4(PutHiveStreaming.java:555) 
     at org.apache.nifi.processors.hive.PutHiveStreaming$$Lambda$379/701280946.execute(Unknown Source) 
     at org.apache.nifi.processor.util.pattern.PartialFunctions.onTrigger(PartialFunctions.java:114) 
     at org.apache.nifi.processor.util.pattern.RollbackOnFailure.onTrigger(RollbackOnFailure.java:184) 
     at org.apache.nifi.processors.hive.PutHiveStreaming.onTrigger(PutHiveStreaming.java:555) 
     at org.apache.nifi.controller.StandardProcessorNode.onTrigger(StandardProcessorNode.java:1119) 
     at org.apache.nifi.controller.tasks.ContinuallyRunProcessorTask.call(ContinuallyRunProcessorTask.java:147) 
     at org.apache.nifi.controller.tasks.ContinuallyRunProcessorTask.call(ContinuallyRunProcessorTask.java:47) 
     at org.apache.nifi.controller.scheduling.TimerDrivenSchedulingAgent$1.run(TimerDrivenSchedulingAgent.java:128) 
     at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 
     at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308) 
     at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:180) 
     at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294) 
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
     at java.lang.Thread.run(Thread.java:745) 
Caused by: org.apache.nifi.util.hive.HiveWriter$ConnectFailure: Failed connecting to EndPoint {metaStoreUri='thrift:// 
Caused by: org.apache.nifi.util.hive.HiveWriter$TxnBatchFailure: Failed acquiring Transaction Batch from EndPoint: {m 
Caused by: org.apache.thrift.transport.TTransportException: null 

Answer 1

ハイブプロセッサは、Apache NiFi 1.2.1に対して構築されているので、Apacheのハイブ2.3.0での動作が保証されていません。また、Apache NiFiとベンダー固有バージョンのHiveとの間に互換性がない可能性があります。たとえば、Hortonworksデータプラットフォーム（HDP）を使用している場合、1.2.xに基づいたHiveバージョンがありますが、2.0に近いバージョンです。 Apache NiFiのHiveプロセッサーはHDP 2.5+と互換性がないため、NiFi専用のHortonworks Data Flow（HDF）パッケージを使用した方がいいでしょう。このバージョンのNiFiは、HDP Hive 1.2.xバージョンに対して構築されています。

上記の解決策のどれも、NiFiベースラインがまだ1.2.xであるため、Hive 2.x（Apacheかベンダー固有のどちらでも）に対して動作することは保証されていません。