Python Scrapyモジュールを使用して、私のウェブサイトのすべてのURLを一覧表示するにはどうすればよいですか？

Question

Python Scrapy moduleを使用して、私のウェブサイトからすべてのURLを削り取り、そのリストをファイルに書きたいとします。私は例を見ましたが、これを行うための簡単な例は見ませんでした。

from scrapy.selector import HtmlXPathSelector 
from scrapy.spider import BaseSpider 
from scrapy.http import Request 

DOMAIN = 'example.com' 
URL = 'http://%s' % DOMAIN 

class MySpider(BaseSpider): 
    name = DOMAIN 
    allowed_domains = [DOMAIN] 
    start_urls = [ 
     URL 
    ] 

    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 
     for url in hxs.select('//a/@href').extract(): 
      if not (url.startswith('http://') or url.startswith('https://')): 
       url= URL + url 
      print url 
      yield Request(url, callback=self.parse) 

保存このspider.pyと呼ばれるファイル内：

Answer 1

は、ここで私のために働いたPythonプログラムです。

あなたは、プロセスにこのテキストを投稿するシェルのパイプラインを使用することができます。

bash$ scrapy runspider spider.py > urls.out 
bash$ cat urls.out| grep 'example.com' |sort |uniq |grep -v '#' |grep -v 'mailto' > example.urls 

これは私に私のサイト内のすべてのユニークなURLのリストを提供します。

Answer 2

クリーナー何か（そしておそらくより有用）がLinkExtractor

from scrapy.linkextractors import LinkExtractor 

    def parse(self, response): 
     le = LinkExtractor() # empty for getting everything, check different options on documentation 
     for link in le.extract_links(response): 
      yield Request(link.url, callback=self.parse)