urllib3を使用してファイルをダウンロードするにはどうすればいいですか

Question

urllib3を使用してHTTPプロトコルでファイルをダウンロードしたいと思います。 私は、この使用して、次のコードを実行するために管理している：

url = 'http://url_to_a_file' 
connection_pool = urllib3.PoolManager() 
resp = connection_pool.request('GET',url) 
f = open(filename, 'wb') 
f.write(resp.data) 
f.close() 
resp.release_conn() 

をしかし、私はこれを行うための適切な方法であると思いまして。 たとえば、大きなファイルに対してはうまくいくでしょうし、このコードをバグに強く、スケーラブルにするために何をすればいいのかわかりません。

注。私がコードをスレッドセーフにしたいので、例えばurllib3ライブラリではなく、urllib2というライブラリを使用することが重要です。

Answer 1

コードスニペットが閉じています。注目に値する二つのこと：あなたがresp.dataを使用している場合

1. 、それは全体の応答を消費し、（手動resp.release_conn()する必要はありません）接続を返します。あなたがメモリ内のデータを保持することで涼しい場合、これはうまくいきます。

2. 応答をストリーミングするresp.read(amt)を使用できますが、接続はresp.release_conn()を介して返す必要があります。これは次のようになります

...

import urllib3 
http = urllib3.PoolManager() 
r = http.request('GET', url, preload_content=False) 

with open(path, 'wb') as out: 
    while True: 
     data = r.read(chunk_size) 
     if not data: 
      break 
     out.write(data) 

r.release_conn() 

ドキュメントでは、ビットは、このシナリオに欠けているかもしれません。誰もがpull-request to improve the urllib3 documentationを作ることに興味があるなら、それは非常に高く評価されるでしょう。あなたがこれを行うには、最も正しい方法は、HTTPレスポンスを表すファイルのようなオブジェクトを取得するにはおそらく完全なコンテンツ

http.request('GET', url, preload_content=False) 

Answer 2

追加以下のようにshutil.copyfileobjを使って実際のファイルにコピーしてください：

url = 'http://url_to_a_file' 
c = urllib3.PoolManager() 

with c.request('GET',url, preload_content=False) as resp, open(filename, 'wb') as out_file: 
    shutil.copyfileobj(resp, out_file) 

resp.release_conn()  # not 100% sure this is required though 

Answer 3

をダウンロードし終わると、それをコピーする他の変数preload_contentという名前:)