2017-11-07 17 views
0

を逃す:HORTONWORKS - HBaseの/フェニックス - WALEditCodec - HBaseの上にフェニックスを実行しようとしているときに、私は、次のエラーが発生します

例外#1:

2017-11-07 12:40:12,620 WARN [RS_LOG_REPLAY_OPS-XXX:16020-0] 
regionserver.SplitLogWorker: log splitting of 
WALs/XXX.XXX.XXX.XXX,16020,1507179047656- 
splitting/XXX.XXX.XXX.XXX%2C16020%2C1507179047656.default.1507179049782 failed, returning error 
java.io.IOException: Cannot get log reader 
    at org.apache.hadoop.hbase.wal.WALFactory.createReader(WALFactory.java:355) 
    at org.apache.hadoop.hbase.wal.WALFactory.createReader(WALFactory.java:267) 
    at org.apache.hadoop.hbase.wal.WALSplitter.getReader(WALSplitter.java:839) 
    at org.apache.hadoop.hbase.wal.WALSplitter.getReader(WALSplitter.java:763) 
    at org.apache.hadoop.hbase.wal.WALSplitter.splitLogFile(WALSplitter.java:297) 
    at org.apache.hadoop.hbase.wal.WALSplitter.splitLogFile(WALSplitter.java:235) 
    at org.apache.hadoop.hbase.regionserver.SplitLogWorker$1.exec(SplitLogWorker.java:104) 
    at org.apache.hadoop.hbase.regionserver.handler.WALSplitterHandler.process(WALSplitterHandler.java:72) 
    at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:129) 
:$ 
    at org.apache.hadoop.hbase.wal.WALFactory.createReader(WALFactory.java:355) 
    at org.apache.hadoop.hbase.wal.WALFactory.createReader(WALFactory.java:267) 
    at org.apache.hadoop.hbase.wal.WALSplitter.getReader(WALSplitter.java:839) 
    at org.apache.hadoop.hbase.wal.WALSplitter.getReader(WALSplitter.java:763) 
    at org.apache.hadoop.hbase.wal.WALSplitter.splitLogFile(WALSplitter.java:297) 
    at org.apache.hadoop.hbase.wal.WALSplitter.splitLogFile(WALSplitter.java:235) 
    at org.apache.hadoop.hbase.regionserver.SplitLogWorker$1.exec(SplitLogWorker.java:104) 
    at org.apache.hadoop.hbase.regionserver.handler.WALSplitterHandler.process(WALSplitterHandler.java:72) 
    at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:129) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
    at java.lang.Thread.run(Thread.java:748) 
Caused by: java.lang.UnsupportedOperationException: Unable to find org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec 
    at org.apache.hadoop.hbase.util.ReflectionUtils.instantiateWithCustomCtor(ReflectionUtils.java:36) 
    at org.apache.hadoop.hbase.regionserver.wal.WALCellCodec.create(WALCellCodec.java:103) 
    at org.apache.hadoop.hbase.regionserver.wal.ProtobufLogReader.getCodec(ProtobufLogReader.java:297) 
    at org.apache.hadoop.hbase.regionserver.wal.ProtobufLogReader.initAfterCompression(ProtobufLogReader.java:307) 
    at org.apache.hadoop.hbase.regionserver.wal.ReaderBase.init(ReaderBase.java:82) 
    at org.apache.hadoop.hbase.regionserver.wal.ProtobufLogReader.init(ProtobufLogReader.java:164) 
    at org.apache.hadoop.hbase.wal.WALFactory.createReader(WALFactory.java:303) 
    ... 11 more 
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424) 
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357) 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Class.java:264) 
    at org.apache.hadoop.hbase.util.ReflectionUtils.instantiateWithCustomCtor(ReflectionUtils.java:32) 
    ... 17 more 

適用されているパッチ#1 : Hortonworksドキュメントで指定されているように、高度なHbase設定のAmbari Web UIを通じて以下の設定を適用しました: https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.2/bk_command-line-upgrade/content/configure-phoenix-25.html

例外#2

FATAL [RS_LOG_REPLAY_OPS-XXX:16020-1] conf.Configuration: error parsing conf core-site.xml 
java.io.FileNotFoundException: /etc/hadoop/2.6.1.0-129/0/core-site.xml (Too many open files) 

適用されているパッチ#2 私はHBaseのリージョン・サーバーを含んでおり、それが</configuration>で終わったことを確認した各サーバー上の各「コア-site.xmlの」ファイルをチェックします。指定されたディレクトリ '/etc/hadoop/2.6.1.0-129/0/core-site.xml'内のcore-site.xmlファイルだけでなく、

これに関する他の情報は見つかりませんでした問題。

答えて

0

私はHDFSに入り、次のコマンドを使用して、すべてのWALの分割ログを削除:

hdfs dfs -rm -r /apps/hbase/data/WALs/*splitting* 

この解決例外#1。私がこれを読んだことから、データが失われることに注意してください。

は例外#2のために私は戻って、各サーバーのオープンファイルの制限をチェックする(のulimit -n)とHortonworksドキュメントに関して該当する場合、更新: https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.2/bk_security/content/kerb-config-limits.html

関連する問題