Pythonを使用してURLを開くための時間の問題が発生しました

Question

私は、そのURLから電子メールと数字のようなデータを取得して取得するpythonプログラムを設計しました。 主な問題は、非常に遅いです、私は、URLからデータを取得する速度を向上させる方法があるかどうかを知りたいです。

一部仕様：

1. プログラムはPythonです。私は

オープナー= urllib2.build_opener（） opener.addheaders =〔（ 'ユーザエージェント' を検索して取り出すためのURL

beautifulsoupを開くためurllib2.open使用してい

、「Mozillaのあなたは今何を/5.0' ）]

with open('Labgodata.csv') as csvfile: 
     reader = csv.DictReader(csvfile) 
     for line in reader: 
      sleep(0.2) 
      getdata(line['URL']) 

Answer 1

をやっていますか？あなたのプログラムが何を正確に言うのが難しいのかを見ずに。ページからのデータのあなたのフェッチ多くが一度に必要がありますすべてを取得し、それを変数に保存しようとする場合には、そのようにURLへの呼び出しを制限するための一般的な試みに

しかし

あなたの作る複数の場合メモリからそれを取得してからWebページを要求する時間が短くなります。