scrapy

    12

    1答えて

    私は(異なる情報が抽​​出された)、私はアイテムを持っている各サイトのために、異なるサイトをクロールするscrapyを使用しています まあは、例えば、私は、一般的なパイプラインを持っている(情報のほとんどが同じである)が、今、私はクロールしていますいくつかのGoogleの検索応答とパイプラインは異なる必要があります。例えば : GenericItemはGenericPipeline を使用していま

    9

    4答えて

    私はSgmlLinkExtractorを動作させようとしています。 これは署名です:私はちょうどのでallow=() を使用しています SgmlLinkExtractor(allow=(), deny=(), allow_domains=(), deny_domains=(), restrict_xpaths(), tags=('a', 'area'), attrs=('href'), canon