2016-07-05 5 views
0

でフォルダ内のすべてのファイルは、私はSolrの中にフォルダをインデックストラブルインデックスSolrの

例-データ-config.xmlのを持っています:

<dataConfig> 
<dataSource type="BinFileDataSource" /> 
    <document> 
     <entity name="files" 
     dataSource="null" 
     rootEntity="false" 
     processor="FileListEntityProcessor" 
     baseDir="C:\Temp\" fileName=".*" 
     recursive="true" 
     onError="skip"> 
      <field column="fileAbsolutePath" name="id" /> 
      <field column="fileSize" name="size" /> 
      <field column="fileLastModified" name="lastModified" /> 

      <entity 
       name="documentImport" 
       processor="TikaEntityProcessor" 
       url="${files.fileAbsolutePath}" 
       format="text"> 
       <field column="file" name="fileName"/> 
       <field column="Author" name="author" meta="true"/> 
       <field column="text" name="text"/> 

      </entity> 
    </entity> 
    </document> 

その後、私はのschema.xmlを作成します:

最後に、solrConfig.xmlファイルを変更して、requesthandlerとdataImportHandlerとdataImportを追加しました。ハンドラ-余分なjarファイル:

<requestHandler name="/dataimport" class="solr.DataImportHandler"> 
    <lst name="defaults"> 
     <str name="config">example-data-config.xml</str> 
    </lst> 
</requestHandler> 

私はそれを実行し、結果は次のとおりです。

result

そのフォルダ内には、.wsdlファイル、diferent形式で20.000ファイル(の.py、.javaファイルなどがあります等)

何か提案がありがとうございます。ありがとう:)

+0

再帰的= "true"は何らかの形で動作していないようですが、私はサブフォルダを試してみましたが、サブフォルダの情報は適切にインデックスされています。しかし、私が実際にこの時点で知りません根本的な原因 – user1848435

答えて

0

あなたのSolrログを確認してください。 Root Causeは間違いなくそこにいると答えています。私も同じ状況に直面して、がフォルダ内に存在するため、DataImportHandlerが例外をスローしていたというsolrログを発見しました。あなたの理由は異なる可能性がありますが、最初にあなたのsolrログを分析し、DataImportセクションでentityセクションを再度実行してから、管理ページのloggingセクションに進み、エラーの直接ログを確認してください。あなたが私が言及したもの以外のエラーを出すなら、ここに投稿して、理解し解読することができます。

+0

クイックレスポンスのおかげで:)。私はログを見て、Solrが.pngイメージのインデックスを作成しようとしているときに問題があるように思えるので、私が今やっていることは、私にとって有益な情報がない(png、 jpg、swfなど)、それらのインデックスを作成しないでください。 – user1848435

+0

あなたのログには何が入っていますか?それがあなたを助けてくれたら、私の答えを受け入れるようにしたいと思います:) –

0
ERROR (Thread-17) [ x:example] o.a.s.h.d.DocBuilder Exception while processing: files document : null:org.apache.solr.handler.dataimport.DataImportHandlerException: Unable to read content Processing Document # 157 
at org.apache.solr.handler.dataimport.DataImportHandlerException.wrapAndThrow(DataImportHandlerException.java:69) 
at org.apache.solr.handler.dataimport.TikaEntityProcessor.nextRow(TikaEntityProcessor.java:165) 
at org.apache.solr.handler.dataimport.EntityProcessorWrapper.nextRow(EntityProcessorWrapper.java:244) 
at org.apache.solr.handler.dataimport.DocBuilder.buildDocument(DocBuilder.java:475) 
at org.apache.solr.handler.dataimport.DocBuilder.buildDocument(DocBuilder.java:514) 
at org.apache.solr.handler.dataimport.DocBuilder.buildDocument(DocBuilder.java:414) 
at org.apache.solr.handler.dataimport.DocBuilder.doFullDump(DocBuilder.java:329) 
at org.apache.solr.handler.dataimport.DocBuilder.execute(DocBuilder.java:232) 
at org.apache.solr.handler.dataimport.DataImporter.doFullImport(DataImporter.java:416) 
at org.apache.solr.handler.dataimport.DataImporter.runCmd(DataImporter.java:480) 
at org.apache.solr.handler.dataimport.DataImporter$1.run(DataImporter.java:461) 
Caused by: org.apache.tika.exception.TikaException: image/png parse error 
at org.apache.tika.parser.image.ImageParser.parse(ImageParser.java:115) 
at org.apache.tika.parser.CompositeParser.parse(CompositeParser.java:256) 
at org.apache.tika.parser.CompositeParser.parse(CompositeParser.java:256) 
at org.apache.tika.parser.AutoDetectParser.parse(AutoDetectParser.java:120) 
at org.apache.solr.handler.dataimport.TikaEntityProcessor.nextRow(TikaEntityProcessor.java:159) 
... 9 more 
Caused by: javax.imageio.IIOException: I/O error reading PNG header! 
at com.sun.imageio.plugins.png.PNGImageReader.readHeader(PNGImageReader.java:315) 
at com.sun.imageio.plugins.png.PNGImageReader.getWidth(PNGImageReader.java:1361) 
at org.apache.tika.parser.image.ImageParser.parse(ImageParser.java:92) 
... 13 more 
Caused by: javax.imageio.IIOException: Image width == 0! 
at com.sun.imageio.plugins.png.PNGImageReader.readHeader(PNGImageReader.java:273) 
... 15 more 
関連する問題