Pythonで大きなzipファイルをダウンロード

Question

私はzipファイルを返す複数のURLを持っています。ファイルのほとんどは、私は次のようにurllib2のライブラリを使用してダウンロードすることができるよ：

request = urllib2.urlopen(url) 
zip_file = request.read() 

私がいる問題が、ファイルの1つは、（zip形式）サイズは35MBであることであり、私のことができるんですよんこのライブラリを使用してダウンロードを完了します。私はそれをwgetとブラウザを使って普通にダウンロードすることができます。私はこのようなchuncksでファイルをダウンロードして試してみました

：

request = urllib2.urlopen(url) 
buffers = [] 
while True: 
    buffer = request.read(8192) 
    if buffer: 
     buffers.append(buffer) 
    else: 
     break 
final_file = ''.join(buffers) 

しかし、これはまた、ダウンロードが完了していません。エラーは発生しないので、何が起こっているのかをデバッグするのは難しいです。残念ながら、URL /ファイルの例はここに掲載できません。

提案/アドバイスはありますか？

Answer 1

これは私のアプリケーションからコピー＆ペーストして、独自のアップデートインストーラをダウンロードします。ブロック単位でファイルを読み取り、すぐにブロックをディスク上の出力ファイルに保存します。私は必要に応じて、GUIのボタンからダウンロードをキャンセルするGUIスレッドとself.terminateでダウンロードの進行状況を表示するためにself.sizeとself.actualSizeを使用

def DownloadThreadFunc(self): 
    try: 
     url = self.lines[1] 
     data = None 
     req = urllib2.Request(url, data, {}) 
     handle = urllib2.urlopen(req) 

     self.size = int(handle.info()["Content-Length"]) 
     self.actualSize = 0 
     name = path.join(DIR_UPDATES, url.split("/")[-1]) 
     blocksize = 64*1024 

     fo = open(name, "wb") 
     while not self.terminate: 
      block = handle.read(blocksize) 
      self.actualSize += len(block) 
      if len(block) == 0: 
       break 
      fo.write(block) 
     fo.close() 
    except (urllib2.URLError, socket.timeout), e: 
     try: 
      fo.close() 
     except: 
      pass 
     error("Download failed.", unicode(e)) 

。