0
A
答えて
1
あなたが参照しているコンフィグはmidleware sourceで述べているように見える:
class AjaxCrawlMiddleware(object):
"""
Handle 'AJAX crawlable' pages marked as crawlable via meta tag.
For more info see https://developers.google.com/webmasters/ajax-crawling/docs/getting-started.
"""
def __init__(self, settings):
if not settings.getbool('AJAXCRAWL_ENABLED'):
raise NotConfigured
だからあなたの質問に答えるために、どのようなそれがないと、それはAJAXを使用してthe google specsを実装するウェブサイトのサポートをクロール可能にするということです。有効にする必要がある場合もあります。downloader middleware
関連する問題
- 1. Selenium + Scrapyの使用
- 2. scrapy-cluster:socket.error:[Errno 98]アドレスはすでに使用中です
- 3. SQLAlchemyを使用してScrapy用にpg_trgmインデックスを作成するには?
- 4. Scrapyでproxymeshを設定するには?
- 5. Scrapyを使用してWebサイトを段階的にクロールする
- 6. Scrapyのプロジェクトで複数のスパイダーを使用する
- 7. ScrapyのLinkExtractorで "allow"キーワードを使用する
- 8. scrapy-jsonrpcとScrapyを併用する方法
- 9. Scrapyを使用したページのアーカイブ
- 10. Djangoクラス内でScrapy関数を使用できますか
- 11. scrapyを使用して職務説明を取得するには?
- 12. Scrapyを使ってイメージをダウンロードするには?
- 13. scrapy mongodbを使用して情報を保存する
- 14. Scrapy FormRequest.from_response()メソッドを使用してフォームを送信する方法
- 15. Scrapy-Pythonを使用してcsvファイルをダウンロードする
- 16. Scrapyを使用してWebページのURLをクロールする
- 17. ScrapyとSeleniumを使用したPython JavaScriptを取得する
- 18. 次の例では使用scrapyとのマッチの行番号
- 19. Scrapyを使用してウェブサイトの検索機能を使用する
- 20. Scrapy - 使用して、特定の要求
- 21. Scrapy:レスポンスをクリーンアップするには?
- 22. Scrapyを使用してファイルストリームを読み込み用に開くにはどうすればよいですか?
- 23. Scrapyを使用しているときに空のJSONエントリを取得する
- 24. フォーマットする方法Scrapyは
- 25. Python 3でScrapyを使用しているときに歪んだインポートエラー
- 26. Scrapyを使用して複数のページをスクラップする方法は?
- 27. 要求に使用されているIPアドレスを確認するPython/Scrapy + ProxyMesh
- 28. scrapyフレームワークを使用してCSS値を削る
- 29. 絶対リンクにScrapyを使用した場合のIndexError
- 30. Mysqlと一緒にScrapyを使用するにはどうしたらいいですか?