ウェブスクレイピング：画像はFacebookには共有されますが、私のアプリには表示されません。エラー401署名が見つかりません

Question

私はGuardianを含むさまざまなソースからのRSSフィードを使用するニュースキュレーションサービスを構築しています。

Guardianの記事から画像を取得しようとすると、次のように表示されます。エラー401署名が見つかりませんエラー。

ただし、記事をFacebookなどと共有すると、画像がフィードに表示されます。このページから https://i.guim.co.uk/img/media/dd92773d05e7da9adcff7c007390a746930c2f71/0_0_2509_1505/master/2509.jpg?w=1200&h=630&q=55&auto=format&usm=12&fit=crop&crop=faces%2Centropy&bm=normal&ba=bottom%2Cleft&blend64=aHR0cHM6Ly91cGxvYWRzLmd1aW0uY28udWsvMjAxNi8wNi8wNy9vdmVybGF5LWxvZ28tMTIwMC05MF9vcHQucG5n&s=bb057e1ec495b0ec4eb75a892b6a190c

：

例えば、これは現在の記事への画像リンクですhttps://www.theguardian.com/global-development/2016/mar/22/world-water-day-quiz-are-you-a-fount-of-wisdom

は、Facebookがすることが可能であるように私は、画像を使用するための方法はありますか？

ありがとうございました。

Answer 1

システムにログインまたは認証されていないイントラネットリソースを使用しようとしているため、おそらく401エラーが発生しています。

次のコードを使用すると、画像のより小さいバージョンを取得できます。その後

from bs4 import BeautifulSoup 
import requests 

url = 'https://www.theguardian.com/global-development/2016/mar/22/world-water-day-quiz-are-you-a-fount-of-wisdom' 
html_source = requests.get(url).text 
#print(html_source) 

soup = BeautifulSoup(source, 'html.parser') 

img = soup.find_all('img', {'class':'maxed responsive-img'}) 

---

することができますprintあなたの結果：それは

---

コードをあなたが提供するページのHTMLソースを読んで、特定の要件とのimgを検索します

初めてのimg：

print(img[0]['src']) 

出力：

https://i.guim.co.uk/img/media/dd92773d05e7da9adcff7c007390a746930c2f71/0_0_2509_1505/master/2509.jpg?w=300&q=55&auto=format&usm=12&fit=max&s=ba3a4698fe5fce056174eff9ff3863d6 

---

すべてのimg結果：

for i in img: 
    print(i['src']) 

出力：

https://i.guim.co.uk/img/media/dd92773d05e7da9adcff7c007390a746930c2f71/0_0_2509_1505/master/2509.jpg?w=300&q=55&auto=format&usm=12&fit=max&s=ba3a4698fe5fce056174eff9ff3863d6 
https://i.guim.co.uk/img/media/6ef58c034b1e86f3424db4258e398c88bb3a3fb4/0_0_5200_3121/2000.jpg?w=300&q=55&auto=format&usm=12&fit=max&s=ea8370295d1e2d193136fd221263c8b8 
https://i.guim.co.uk/img/media/e1c2b1336979a752a68c3c554611bc28aa0a4baa/0_290_4324_2594/2000.jpg?w=300&q=55&auto=format&usm=12&fit=max&s=eef138cefe66834919c3544826a3e468 
https://i.guim.co.uk/img/media/37df4e7b52dfd554d431f7d439cdd1a137789fa4/0_0_4256_2553/2000.jpg?w=300&q=55&auto=format&usm=12&fit=max&s=9e461f6739325cf3524a1228f5f7e60b