Nokogiriで大きなHTMLファイルを解析する

Question

Nokogiriでhttp://www.pro-medic.ru/index.php?ht=246&perpage=allを解析しようとしていますが、残念ながらページからすべての項目を取得できません。

私の簡単なテストコードは次のとおりです。

require 'open-uri' 
require 'nokogiri' 

html = Nokogiri::HTML open('http://www.pro-medic.ru/index.php?ht=246&perpage=all') 
p html.css('ul.products-grid-compact li .goods_container').count 

それだけで83項目を返しますが、実際の数は、およそ186

私は問題はopenにすることができると思ったが、それは、その関数が読み込みらしいですHTMLページが正しく表示されます。

誰も同じ問題に直面しましたか？

Answer 1

ファイルがNokogiriのパーサーの制限を超えているようです。 |=は、ビットごとのOR代入演算子あること

require 'open-uri' 
require 'nokogiri' 

url = 'http://www.pro-medic.ru/index.php?ht=246&perpage=all' 
html = Nokogiri::HTML(open(url)) do |config| 
    config.options |= Nokogiri::XML::ParseOptions::HUGE 
end 
html.css('ul.products-grid-compact li .goods_container').count 
#=> 186 

は注意、Parse Optionsによると、論理演算子と||=

それを混同しないでください、あなたも設定することができます：あなたはHUGEフラグを追加することによって、制限を緩和することができますこの旗はconfig.huge