公開ファイルを含むhttpsウェブページにアクセスできますが、Pythonスクリプトを使用してそれらをダウンロードできないのはなぜですか？

Question

私のユーザ名とパスワードは何ですか？

import requests 
import shutil 

url = "https://www.sec.gov/Archives/edgar/daily-index/2017/QTR1/company.20170111.idx.txt"  

#Note: It's https 

r = requests.get(url, auth=('', ''), verify=False,stream=True) 

r.raw.decode_content = True 

with open("company.20170111.idx.txt", 'wb') as f: 
    shutil.copyfileobj(r.raw, f) 

Answer 1

ロードしようとしているURLは次のようになります。

https://www.sec.gov/Archives/edgar/daily-index/2017/QTR1/company.20170103.idx

あなたはまた、import requestsを逃していると、サーバー側がauthパラメータを好きではなかったです。

import shutil 
import requests 

url = "https://www.sec.gov/Archives/edgar/daily-index/2017/QTR1/company.20170111.idx" 

r = requests.get(url, verify=False, stream=True) 

r.raw.decode_content = True 

with open("company.20170111.idx.txt", 'wb') as f: 
    shutil.copyfileobj(r.raw, f) 

Answer 2

これは問題なく機能します。私は理由を知りません：

import urllib2 
url = "https://www.sec.gov/Archives/edgar/daily-index/2017/QTR1/company.20170111.idx" 
r = urllib2.urlopen(url) 
for l in r: 
    print l