次のコードを使用してイメージを順番にダウンロードしていますが、多くのメッセージがWARNING: Retrying
となっています。これは毎回この変化を引き起こし、時には決して起こらないイメージURLに注目する価値があります。リクエスト/ urllib3イメージのダウンロード時に再試行を試みます
session = requests.Session()
session.keep_alive = False
adapter = requests.adapters.HTTPAdapter(pool_connections=100, pool_maxsize=100, max_retries=3)
session.mount("http://", adapter)
session.mount("https://", adapter)
response = session.get(image_url, headers=headers, allow_redirects=True, timeout=20)
そして、これは私がこれらを抑制/修正することができますどのように警告
2016-06-28 07:16:47 [requests.packages.urllib3.connectionpool] WARNING: Retrying (Retry(total=2, connect=None, read=None, redirect=None)) after connection broken by 'ReadTimeoutError("HTTPConnectionPool(host='s-media-cache-ak0.pinimg.com', port=80): Read timed out. (read timeout=20)",)': /564x/4d/75/78/4d7578cf80d146b9d2b597f8678c7b31.jpg
の原因は?私のログにはたくさんの再試行警告があるのは意味がありません。私は、リクエストのソースコードをチェックアウトしましたが、私はすべての警告を無効にしたくない:
log.warning("Retrying (%r) after connection "
"broken by '%r': %s", retries, err, url)