1. ホーム
  2. 質問と答え
  3. アネモネによるサブドメインのクロール

アネモネによるサブドメインのクロール

2012-02-15 6 views
3

私はアネモネを使用しています。サブドメインもどのようにクロールしますか？例えば私がウェブサイトwww.abc.comを持っていると、私のクローラもsupport.abc.comまたはblah.abc.comをクロールする必要があります。私はあなたがcrawlコマンドに複数のサイトを渡すことができAnemone docsによるRubyの1.8.7とRails 3.アネモネによるサブドメインのクロール

出典

2012-02-15 Bhushan Lodha

+1

なぜRailsかNokogiri質問ですか？ –

+1

レールとnokogiriタグを削除しました。これはこの質問の中心ではありません。 –

答えて

-2

を使用しています：もちろん

Anemone.crawl("http://www.abc.com/", "http://support.abc.com/", "http://blah.abc.com/")

、あなたの次の問題は、おそらくABCは、クロールのためにあなたを禁止しますそのサイトとは異なる質問です

出典

2012-02-15 18:17:37

+0

サブドメインがわからない場合はどうすればよいですか？ –

+0

サブドメインがわからない場合は、最初のページから取得したリンクを検索し、サブドメインであるか、または兄弟ドメインであると思われる他のサイトを探して検索することによって開始する必要があります1。その後、セカンダリクロールを開始します。 –

関連する問題

 関連する問題