リクエストの治療リストが遅れました

Question

5分間隔で10回ウェブページのリストをスクラップする必要があります。 これは、後でスクレイピングするためのURLを収集するためです。それを見て別の方法はどのように私はセット間の遅延が、掻き取り要求間の遅延なしを追加することができます

url_list = [] 
for i in 1:10 { 
    url_list += scrape request 
    url_list += scrape request 
    url_list += scrape request 
    sleep 5 min 
} 
for site in url_list 
    scrape site 

のですか？

どうすればこの問題を解決できますか？

おかげ

Answer 1

あなたは秒単位で所望の遅延の数でDOWNLOAD_DELAYプロジェクト設定やdownload_delayクモのクラス属性を使用することができます。

Official docs on download_delay