NIFI：メモリ不足のエラーヒープサイズを増やすことに失敗しました

NIFIサービスが起動を拒否する問題が発生しました。私はnifi-app.logを監視し、OutOfMemoryエラーであることを発見しました。私はbootstap.confファイルのメモリを増やしました。しかし、このエラーは依然として持続しています。添付NIFI：メモリ不足のエラーヒープサイズを増やすことに失敗しました

はnifi-app.log

2017-12-19 17:08:37,133 ERROR [ActiveMQ InactivityMonitor ReadCheckTimer] org.apache.nifi.NiFi An Unknown Error Occurred in Thread Thread[ActiveMQ InactivityMonitor ReadCheckTimer,5,main]: java.lang.OutOfMemoryError: Java heap space 
2017-12-19 17:08:37,134 ERROR [Provenance Maintenance Thread-2] org.apache.nifi.NiFi An Unknown Error Occurred in Thread Thread[Provenance Maintenance Thread-2,5,main]: java.lang.OutOfMemoryError: Java heap space 
2017-12-19 17:08:37,134 ERROR [logback-2] org.apache.nifi.NiFi An Unknown Error Occurred in Thread Thread[logback-2,5,main]: java.lang.OutOfMemoryError: Java heap space 
2017-12-19 17:08:37,133 ERROR [FileSystemRepository Workers Thread-2] org.apache.nifi.NiFi An Unknown Error Occurred in Thread Thread[FileSystemRepository Workers Thread-2,5,main]: java.lang.OutOfMemoryError: Java heap space 
2017-12-19 17:08:37,135 ERROR [pool-15-thread-1] org.apache.nifi.NiFi An Unknown Error Occurred in Thread Thread[pool-15-thread-1,5,main]: java.lang.OutOfMemoryError: Java heap space 
2017-12-19 17:08:37,133 ERROR [Flow Service Tasks Thread-1] org.apache.nifi.NiFi An Unknown Error Occurred in Thread Thread[Flow Service Tasks Thread-1,5,main]: java.lang.OutOfMemoryError: Java heap space 
2017-12-19 17:08:39,496 ERROR [Provenance Maintenance Thread-2] org.apache.nifi.NiFi 
java.lang.OutOfMemoryError: Java heap space 
2017-12-19 17:08:39,496 ERROR [logback-2] org.apache.nifi.NiFi 
java.lang.OutOfMemoryError: Java heap space 
2017-12-19 17:08:39,496 ERROR [FileSystemRepository Workers Thread-2] org.apache.nifi.NiFi 
java.lang.OutOfMemoryError: Java heap space 
2017-12-19 17:08:38,482 ERROR [Flow Service Tasks Thread-1] org.apache.nifi.NiFi 
java.lang.OutOfMemoryError: Java heap space 
2017-12-19 17:08:38,482 ERROR [Event-Driven Process Thread-1] org.apache.nifi.engine.FlowEngine A flow controller task execution stopped abnormally 
java.util.concurrent.ExecutionException: java.lang.OutOfMemoryError: Java heap space 
     at java.util.concurrent.FutureTask.report(FutureTask.java:122) 
     at java.util.concurrent.FutureTask.get(FutureTask.java:192) 
     at org.apache.nifi.engine.FlowEngine.afterExecute(FlowEngine.java:100) 
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1150) 
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
     at java.lang.Thread.run(Thread.java:748) 
Caused by: java.lang.OutOfMemoryError: Java heap space 
2017-12-19 17:08:38,483 ERROR [FileSystemRepository Workers Thread-4] org.apache.nifi.engine.FlowEngine A flow controller task execution stopped abnormally 
java.util.concurrent.ExecutionException: java.lang.OutOfMemoryError: Java heap space 
     at java.util.concurrent.FutureTask.report(FutureTask.java:122) 
     at java.util.concurrent.FutureTask.get(FutureTask.java:192) 
     at org.apache.nifi.engine.FlowEngine.afterExecute(FlowEngine.java:100) 
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1150) 
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
     at java.lang.Thread.run(Thread.java:748) 
Caused by: java.lang.OutOfMemoryError: Java heap space 
2017-12-19 17:08:38,482 ERROR [pool-15-thread-1] org.apache.nifi.NiFi 
java.lang.OutOfMemoryError: Java heap space 
2017-12-19 17:08:39,497 ERROR [ActiveMQ InactivityMonitor ReadCheckTimer] org.apache.nifi.NiFi 
java.lang.OutOfMemoryError: Java heap space 
2017-12-19 17:08:40,509 INFO [Write-Ahead Local State Provider Maintenance] org.wali.MinimalLockingWriteAheadLog [email protected] checkpointed with 2358 Records and 0 Swap Files in 114969 milliseconds (Stop-the-world time = 2361 milliseconds, Clear Edit Logs time = 936 millis), max Transaction ID 7622 
2017-12-19 17:10:41,433 INFO [Write-Ahead Local State Provider Maintenance] org.wali.MinimalLockingWriteAheadLog [email protected] checkpointed with 2358 Records and 0 Swap Files in 922 milliseconds (Stop-the-world time = 2 milliseconds, Clear Edit Logs time = 2 millis), max Transaction ID 7622

私もそれが壊れている可能性がありますことを恐れてflowfileやコンテンツレポジトリを削除しようとしています。しかし、まだ変化はありません。

私は理解できますが、それはスレッドエラーですが、回避策を見つけることができません。

出典

2017-12-19 Jasim Waheed

nifi.propertiesでシャットダウン、リポジトリの削除、nifi.flowcontroller.autoResumeState = falseを設定してからバックアップを開始しようとしています。

これは、NiFiが起動するとフロー全体が停止し、フローがより多くのデータを取り込むことができず、メモリ不足のエラーが発生することを確実にします。。使用している可能性1.

もう一つの理由の行数でSPLITTEXTに行く千万行でCSVを言うようにOOMため

一般的な理由は、大流量のファイルを取って、小流量ファイルの何百万人にそれを分割していますフローファイルの内容全体をメモリに読み込んで、そのプロセッサにマルチGBフローファイルを読み込ませたり、ExtractTextを使用して大きな内容を属性に抽出したりするプロセッサ。

出典

2017-12-19 19:37:58

私はあなたが言及したようにステップをたどりました。 Web UIとnifi-bootstap.logの状態をまだ起動できません 2017-12-19 20：40：04,725エラー[NiFi logging handler] org.apache.nifi.StdErr Webサーバーの起動に失敗しました：Beanの作成中にエラーが発生しました名前 'niFiWebApiSecurityConfiguration'：autowired依存関係の注入が失敗しました。 org.apache.nifi.web.NiFiWebApiSecurityConfiguration.setJwtAuthenticationProvider（org.apache.nifi.web.security.jwt.JwtAuthenticationProvider）;メソッドの自動呼び出しができませんでした。 –

あなたは本当のエラーを見ることができるように完全なスタックトレースを提供する必要があります。アップデートでオリジナルの質問を編集し、ログからstacktrace全体を貼り付けることができます –

ありがとうBryanが問題を解決できました。いくつかのファイルが誤ってrootによって所有されていたため、nifiフォルダにいくつかのアクセス権の競合がありました。 –

NIFI：メモリ不足のエラーヒープサイズを増やすことに失敗しました

答えて

関連する問題