scrapy

0熱

2答えて

closeメソッドが実行されていない理由を理解できません。私は2つのURLのリストを処理しなければならない。 1つのリストを最初に処理してエクスポートし、2番目のリストを処理する必要があります。問題はcloseメソッドが呼び出されただけです（ブレークポイントはdefで停止しますが実行されません）。なぜなのかご存知ですか？ # coding=utf-8 from bot.items import

0熱

1答えて

Pythonでマルチプロセッシングを使用してScrapyを使用して何百万ものURLをクロールする方法は？

私は3つの層の再帰を実装して、URLのシードリストを生成し、各URLから情報をスクレイピングしました。 multiprocessingを使用して、システムのすべてのコアを利用してクロールを高速化したいと考えています。これまでに実装したクローラコードを示します。 # -*- coding: utf-8 -*- import scrapy from scrapy.selector import H

0熱

1答えて

Scrapy：クロールの確認と停止の方法

私はページのリストをクロールしています。各ページには、解析する必要があるURLのリストがあります。私はこれらの最初のページをループしていますが、いつクロールをやめなければならないのかは分かりません。ない http://www.cmjornal.pt/opiniao/colunistas/acacio-pereira/MoreContent?firstContent=183 ではなく、この1すでに空

0熱

1答えて

スケジューリング予定時刻にスパイダーをクロールする

スケジュールされた時間にスパイダーを複数回クロールしたい。次のクロール時間は、最初のクロールが完了した後に決定されます。ここではそれを行うに私のコードですが、コードは最初crawler.start（）ラインでブロックされます。 spidersQ = collections.OrderedDict() class QuotesSpider(scrapy.Spider): name =

0熱

1答えて

最終的なスクレーパーをどのように処理するとスクレイピーになりますか？

私はリスティングページを解析し、JSON出力を生成しています。最終的にすべてのものが解析されると、最終的なスクラップ結果に対していくつかの操作を実行したいと思います。私はどのようにそれをScrapyで行うことができますか？私はprocess_itemについて知っていますが、反復の各項目に対して機能します。私が見つけた閉じたものはclose_spiderでしたが、私が実行するとわからないのです私はJ

0熱

1答えて

リンクに続くデータがないリンク

シンプルなスパイダーでリンクのリストと各リンクのデータをスクラップしようとしていますが、問題が発生しています。スクリプトシェルを再作成すると、新しいURLの取得要求が送信されますが、クロールを実行するとリンクからデータが返されません。私が返す唯一のデータは、リンクに行く前に掻き取った開始URLからです。リンクからデータをスクレイプするにはどうすればよいですか？ import scrapy

0熱

1答えて

はScrapy（パイソン）で構文エラーを与える - XPathの

は、私は、ユーザー名などのいくつかの詳細を抽出するためにScrapyクローラを使用しています、upvotes、参加日などを、私は、各ユーザーのWebページから内容を抽出するためのXPathを使用しています。コード： import scrapy from scrapy.selector import HtmlXPathSelector from scrapy.http import Requ

0熱

1答えて

"TypeError：strとstr以外の引数を混在させることはできません"を修正する方法はありますか？

私はいくつかのスクレイピングコードを書いており、上記のようなエラーが発生しています。私のコードは以下のとおりです。 # -*- coding: utf-8 -*- import scrapy from myproject.items import Headline class NewsSpider(scrapy.Spider): name = 'IC' allowe

0熱

1答えて

治療セレンログインしてからページを検索

私は治療とセレンについてもっと学びたいと思っています。私は一般的に治療とパイソンにはとても新しいです。私は地元の食料雑貨品の価格を調べるためにgrocery.walmart.comを掻き取ろうとしています。 grocery.walmart.comには郵便番号またはログインが必要です。フォームリクエストスクレーパーを使用しようとすると、通常、フォームを見つけることができないという値のエラーが発生し

0熱

2答えて

Scrapy：HTMLテキストの検索文字による特定の単語の選択

特定の単語を検索している次のHTMLスクリプトがあります。 <tbody> <tr> <th>Berufsbezeichnung:</th> <td class="gray">ExampleName</td> </tr> <tr> <th>Anrede:</th> <td class="