Nokogiriは各行を1つの行として収集します

Question

私はアフィリエイトWebサイトを運営していますが、XMLデータフィードを使用するコードがあります。私は、XMLフィードからデータをスクラップして保存する方法を書いています。これは、60個のフィードに完全に対応しています。フィードの各行は@productとして作成されます。

Linkshareに入ると、他の60個のフィードで動作するコードはLinkshareフィードでは機能しません。代わりに持つの@ products.count =は数百、それは@productsの1つのインスタンスにすべての製品をロードしようとするので、私は得る：

ソウルカルデラックスハートキャミソールトップ - WomensOnlyベストトップ - WomensSoul カルデラックスレーサーバックベストトップ - WomensSoulカルデラックスレーサーバックベスト トップ - WomensSoulカルデラックスレーサーバックベストトップ - WomensSoulカル デラックスレーサーバックベストトップ - グランジジャンパーをWomensCrafted - WomensMiso パール&火の玉リングスタック - WomensSoulカルデラックスはShacketをチェック - MensSoul Calデラックスハリネズミストライプシャツ - MensMiso Embellished Waist Dress - WomensGlamorous Belted Dress - WomensMiso Front Tie S horts - WomensMisoタイフロントショーツ - WomensSoulカルデラックスストレッチスキニー パンツ - WomensSoulカルデラックスストレッチスキニーパンツ - WomensSoul カルデラックスストレッチスキニーパンツ - WomensVeroモーダバーニスドレス - WomensSoulカルデラックスベルト付きチノパン - WomensMisoは裾マキシドレスをディップ - WomensSoulカルデラックスストレッチスキニーパンツ - WomensMisoジュエルボディコンドレス - WomensMisoイブニングバンドードレス - WomensMisoアステカ チューブスカート - WomensCrafted装飾ネックドレス - WomensMisoスポット ドレス - WomensMisoスポットドレス - 女性 "}]

（注私はコンソールログの終わりをとっただけですが、というのは。

私は多くのテストを実行しましたが、これはしばらくの間問題でした。

このような人は誰ですか？

doctypesまたはhpricotですか？

何か提案がありますか？

例のフィード：

<?xml version="1.0" encoding="UTF-8"?><merchandiser xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="merchandiser.xsd"> 
<header><merchantId>36503</merchantId><merchantName>Republic</merchantName><createdOn>2012-01-12/20:21:17</createdOn></header><product product_id="73794" name="Soul Cal Deluxe Borg DLX Zip Through Hoody - Mens" sku_number="73794" manufacturer_name="Soul Cal Deluxe" part_number="73794"><category><primary>Men &gt; Sweats &amp; Hoodies</primary><secondary></secondary></category><URL><product>http://click.linksynergy.com/link?id=g*0hRDNOv4M&amp;offerid=215450.73794&amp;type=15&amp;murl=http%3A%2F%2Fwww.republic.co.uk%2Finvt%2F73794</product><productImage>http://www.republic.co.uk/content/ebiz/republic/invt/73794/73794_lg1.jpg</productImage><buy></buy></URL><description><short>Blue, Hoodies, Hand wash only</short><long></long></description><discount currency="GBP"><amount></amount><type>amount</type></discount><price currency="GBP"><sale begin_date="" end_date="">34.99</sale><retail>34.99</retail></price><brand>Soul Cal Deluxe</brand><shipping><cost currency="GBP"><amount>3.95</amount><currency>GBP</currency></cost><information></information><availability></availability></shipping><keywords></keywords><upc></upc><m1></m1><pixel>http://ad.linksynergy.com/fs-bin/show?id=g*0hRDNOv4M&amp;bids=215450.73794&amp;type=15&amp;subid=0</pixel></product> 
<product product_id="51118" name="Jack &amp; Jones Dale Jack Jeans - Mens" sku_number="51118" manufacturer_name="Jack&amp;Jones" part_number="51118"><category><primary>Men &gt; Jeans</primary><secondary></secondary></category><URL><product>http://click.linksynergy.com/link?id=g*0hRDNOv4M&amp;offerid=215450.51118&amp;type=15&amp;murl=http%3A%2F%2Fwww.republic.co.uk%2Finvt%2F51118</product><productImage>http://www.republic.co.uk/content/ebiz/republic/invt/51118/51118_lg1.jpg</productImage><buy></buy></URL><description><short>Blue, Straight</short><long></long></description><discount currency="GBP"><amount></amount><type>amount</type></discount><price currency="GBP"><sale begin_date="" end_date="">40.00</sale><retail>64.99</retail></price><brand>Jack&amp;Jones</brand><shipping><cost currency="GBP"><amount>3.95</amount><currency>GBP</currency></cost><information></information><availability></availability></shipping><keywords></keywords><upc></upc><m1></m1><pixel>http://ad.linksynergy.com/fs-bin/show?id=g*0hRDNOv4M&amp;bids=215450.51118&amp;type=15&amp;subid=0</pixel></product> 
<product product_id="51128" name="Diesel Straight Leg Larkee Jeans - Mens" sku_number="51128" manufacturer_name="Diesel" part_number="51128"><category><primary>Men &gt; Jeans</primary><secondary></secondary></category><URL><product>http://click.linksynergy.com/link?id=g*0hRDNOv4M&amp;offerid=215450.51128&amp;type=15&amp;murl=http%3A%2F%2Fwww.republic.co.uk%2Finvt%2F51128</product><productImage>http://www.republic.co.uk/content/ebiz/republic/invt/51128/51128_lg1.jpg</productImage><buy></buy></URL><description><short>Blue, Straight</short><long></long></description><discount currency="GBP"><amount></amount><type>amount</type></discount><price currency="GBP"><sale begin_date="" end_date="">120.00</sale><retail>120.00</retail></price><brand>Diesel</brand><shipping><cost currency="GBP"><amount>0.00</amount><currency>GBP</currency></cost><information></information><availability></availability></shipping><keywords></keywords><upc></upc><m1></m1><pixel>http://ad.linksynergy.com/fs-bin/show?id=g*0hRDNOv4M&amp;bids=215450.51128&amp;type=15&amp;subid=0</pixel></product> 
<product product_id="68226" name="Miso Fox Scarf - Womens" sku_number="68226" manufacturer_name="Miso" part_number="68226"><category><primary>Women &gt; Accessories</primary><secondary></secondary></category><URL><product>http://click.linksynergy.com/link?id=g*0hRDNOv4M&amp;offerid=215450.68226&amp;type=15&amp;murl=http%3A%2F%2Fwww.republic.co.uk%2Finvt%2F68226</product><productImage>http://www.republic.co.uk/content/ebiz/republic/invt/68226/68226_lg1.jpg</productImage><buy></buy></URL><description><short>Stone, Scarves, Machine washable</short><long></long></description><discount currency="GBP"><amount></amount><type>amount</type></discount><price currency="GBP"><sale begin_date="" end_date="">5.00</sale><retail>19.99</retail></price><brand>Miso</brand><shipping><cost currency="GBP"><amount>3.95</amount><currency>GBP</currency></cost><information></information><availability></availability></shipping><keywords></keywords><upc></upc><m1></m1><pixel>http://ad.linksynergy.com/fs-bin/show?id=g*0hRDNOv4M&amp;bids=215450.68226&amp;type=15&amp;subid=0</pixel></product> 
<product product_id="67968" name="Levis Pleat Trucker Jacket - Womens" sku_number="67968" manufacturer_name="Levis" part_number="67968"><category><primary>Women &gt; Coats &amp; Jackets</primary><secondary></secondary></category><URL><product>http://click.linksynergy.com/link?id=g*0hRDNOv4M&amp;offerid=215450.67968&amp;type=15&amp;murl=http%3A%2F%2Fwww.republic.co.uk%2Finvt%2F67968</product><productImage>http://www.republic.co.uk/content/ebiz/republic/invt/67968/67968_lg1.jpg</productImage><buy></buy></URL><description><short>Blue, Jackets</short><long></long></description><discount currency="GBP"><amount></amount><type>amount</type></discount><price currency="GBP"><sale begin_date="" end_date="">30.00</sale><retail>84.99</retail></price><brand>Levis</brand><shipping><cost currency="GBP"><amount>3.95</amount><currency>GBP</currency></cost><information></information><availability></availability></shipping><keywords></keywords><upc></upc><m1></m1><pixel>http://ad.linksynergy.com/fs-bin/show?id=g*0hRDNOv4M&amp;bids=215450.67968&amp;type=15&amp;subid=0</pixel></product> 
<product product_id="81217" name="G-Star Dean Army Tapered Jeans - Womens" sku_number="81217" manufacturer_name="G-Star" part_number="81217"><category><primary>Women &gt; Jeans</primary><secondary></secondary></category><URL><product>http://click.linksynergy.com/link?id=g*0hRDNOv4M&amp;offerid=215450.81217&amp;type=15&amp;murl=http%3A%2F%2Fwww.republic.co.uk%2Finvt%2F81217</product><productImage>http://www.republic.co.uk/content/ebiz/republic/invt/81217/81217_lg1.jpg</productImage><buy></buy></URL><description><short>Black, Straight</short><long></long></description><discount currency="GBP"><amount></amount><type>amount</type></discount><price currency="GBP"><sale begin_date="" end_date="">115.00</sale><retail>115.00</retail></price><brand>G-Star</brand><shipping><cost currency="GBP"><amount>0.00</amount><currency>GBP</currency></cost><information></information><availability></availability></shipping><keywords></keywords><upc></upc><m1></m1><pixel>http://ad.linksynergy.com/fs-bin/show?id=g*0hRDNOv4M&amp;bids=215450.81217&amp;type=15&amp;subid=0</pixel></product> 
<product product_id="58377" name="Police 883 Embro Hat - Mens" sku_number="58377" manufacturer_name="Police 883" part_number="58377"><category><primary>Men &gt; Accessories</primary><secondary></secondary></category><URL><product>http://click.linksynergy.com/link?id=g*0hRDNOv4M&amp;offerid=215450.58377&amp;type=15&amp;murl=http%3A%2F%2Fwww.republic.co.uk%2Finvt%2F58377</product><productImage>http://www.republic.co.uk/content/ebiz/republic/invt/58377/58377_lg1.jpg</productImage><buy></buy></URL><description><short>Black, Hats &amp; Beanies</short><long></long></description><discount currency="GBP"><amount></amount><type>amount</type></discount><price currency="GBP"><sale begin_date="" end_date="">17.99</sale><retail>17.99</retail></price><brand>Police 883</brand><shipping><cost currency="GBP"><amount>3.95</amount><currency>GBP</currency></cost><information></information><availability></availability></shipping><keywords></keywords><upc></upc><m1></m1><pixel>http://ad.linksynergy.com/fs-bin/show?id=g*0hRDNOv4M&amp;bids=215450.58377&amp;type=15&amp;subid=0</pixel></product> 
<product product_id="58306" name="Diesel Kyle Beanie - Mens" sku_number="58306" manufacturer_name="Diesel" part_number="58306"><category><primary>Men &gt; Accessories</primary><secondary></secondary></category><URL><product>http://click.linksynergy.com/link?id=g*0hRDNOv4M&amp;offerid=215450.58306&amp;type=15&amp;murl=http%3A%2F%2Fwww.republic.co.uk%2Finvt%2F58306</product><productImage>http://www.republic.co.uk/content/ebiz/republic/invt/58306/58306_lg1.jpg</productImage><buy></buy></URL><description><short>Black, Hats &amp; Beanies</short><long></long></description><discount currency="GBP"><amount></amount><type>amount</type></discount><price currency="GBP"><sale begin_date="" end_date="">19.99</sale><retail>19.99</retail></price><brand>Diesel</brand><shipping><cost currency="GBP"><amount>3.95</amount><currency>GBP</currency></cost><information></information><availability></availability></shipping><keywords></keywords><upc></upc><m1></m1><pixel>http://ad.linksynergy.com/fs-bin/show?id=g*0hRDNOv4M&amp;bids=215450.58306&amp;type=15&amp;subid=0</pixel></product> 
<product product_id="86865" name="Miso Fair Isle Cardigan - Womens" sku_number="86865" manufacturer_name="Miso" part_number="86865"><category><primary>Women &gt; Knitwear</primary><secondary></secondary></category><URL><product>http://click.linksynergy.com/link?id=g*0hRDNOv4M&amp;offerid=215450.86865&amp;type=15&amp;murl=http%3A%2F%2Fwww.republic.co.uk%2Finvt%2F86865</product><productImage>http://www.republic.co.uk/content/ebiz/republic/invt/86865/86865_lg1.jpg</productImage><buy></buy></URL><description><short>Stone, Cardigans, Hand wash only</short><long></long></description><discount currency="GBP"><amount></amount><type>amount</type></discount><price currency="GBP"><sale begin_date="" end_date="">49.99</sale><retail>49.99</retail></price><brand>Miso</brand><shipping><cost currency="GBP"><amount>3.95</amount><currency>GBP</currency></cost><information></information><availability></availability></shipping><keywords></keywords><upc></upc><m1></m1><pixel>http://ad.linksynergy.com/fs-bin/show?id=g*0hRDNOv4M&amp;bids=215450.86865&amp;type=15&amp;subid=0</pixel></product> 
<product product_id="52947" name="White Label Chinos - Mens" sku_number="52947" manufacturer_name="White Label" part_number="52947"><category><primary>Men &gt; trs</primary><secondary></secondary></category><URL><product>http://click.linksynergy.com/link?id=g*0hRDNOv4M&amp;offerid=215450.52947&amp;type=15&amp;murl=http%3A%2F%2Fwww.republic.co.uk%2Finvt%2F52947</product><productImage>http://www.republic.co.uk/content/ebiz/republic/invt/52947/52947_lg1.jpg</productImage><buy></buy></URL><description><short>Stone, Chinos, Machine washable</short><long></long></description><discount currency="GBP"><amount></amount><type>amount</type></discount><price currency="GBP"><sale begin_date="" end_date="">20.00</sale><retail>20.00</retail></price><brand>White Label</brand><shipping><cost currency="GBP"><amount>3.95</amount><currency>GBP</currency></cost><information></information><availability></availability></shipping><keywords></keywords><upc></upc><m1></m1><pixel>http://ad.linksynergy.com/fs-bin/show?id=g*0hRDNOv4M&amp;bids=215450.52947&amp;type=15&amp;subid=0</pixel></product> 

Answer 1

一つの問題は、XMLが不正であるということです。 <merchandiser>タグは終了しません。鋸山は、あなたがドキュメントを解析した後errors方法を確認した場合に限りを教えてくれます：ファイルの最後に閉じ</merchandiser>タグを追加する

doc.errors 
[ 
    [0] #<Nokogiri::XML::SyntaxError:0x10109b918 
     attr_reader :code = 77, 
     attr_reader :column = 1, 
     attr_reader :domain = 1, 
     attr_reader :file = nil, 
     attr_reader :int1 = 1, 
     attr_reader :level = 3, 
     attr_reader :line = 12, 
     attr_reader :str1 = "merchandiser", 
     attr_reader :str2 = nil, 
     attr_reader :str3 = nil 
    > 
] 

はそれを片付け：

doc = Nokogiri::XML(File.read('./test.xml')) 
#<Nokogiri::XML::Document:0x1009ae038 
    @node_cache = [], 
    attr_accessor :errors = [], 
    attr_reader :decorators = nil 
> 

をことを固定した後、私はproductために解析：

doc.search('product').size 
=> 20 

は<product>衝突があります。

<product> 
    <URL> 
    <product /> 
    </URL> 
</product> 

あなたのコードを混乱させる可能性があります。それは20回の出現を報告した私の検索を混乱させた。