anemone

-2熱

1答えて

Anemone - NoMethodError：未定義メソッド `xpath 'for nil：NilClass

Rubyでブログをクロールし、Anemoneの宝石とレーキを使って壊れた外部リンクを見つけるように設計されたWebクローラーの作成についてもっと学び始めました以下のタスク... task :testing_this => :environment do require 'anemone' rooter = 'myblog.com' banned = ['tel:','

ruby-on-rails ruby xpath anemone 2016-09-27

---

2熱

1答えて

すべてのドメインをページにすることはNokogiriを使用するかどうかによって異なります

Nokogiriを使用して特定のページに依存するすべてのドメイン/ IPアドレスを取得しようとしています。それが原因でJavascriptを動的にロードする依存関係の完璧にすることはできませんが、私は得ることで最善の努力をして満足している： 画像のURL <のIMG SRC =「...」 のJavascriptのURL <スクリプトSRC = "..." CSSおよび任意のCSSのURL（...）

ruby nokogiri anemone 2011-07-29

---

3熱

2答えて

アネモネによるサブドメインのクロール

私はアネモネを使用しています。サブドメインもどのようにクロールしますか？例えば私がウェブサイトwww.abc.comを持っていると、私のクローラもsupport.abc.comまたはblah.abc.comをクロールする必要があります。私はあなたがcrawlコマンドに複数のサイトを渡すことができAnemone docsによるRubyの1.8.7とRails 3.

ruby web-crawler anemone 2012-02-15

---