BeautifulSoupを使用してYahoo Financeから検索する

Question

私はYahooのティッカーについての情報を取得しようとしています（これはPandasライブラリではサポートされていないためです）。 AAPLため

例：

from bs4 import BeautifulSoup 
import requests 

url = 'http://finance.yahoo.com/quote/AAPL/key-statistics?p=AAPL' 
page = requests.get(url) 
soup = BeautifulSoup(page.text, 'lxml') 

enterpriseValue = soup.findAll('$ENTERPRISE_VALUE', attrs={'class': 'yfnc_tablehead1'}) #HTML tag for where enterprise value is located 

print(enterpriseValue) 

編集：おかげでアンディ！

質問：これは、空の配列を印刷しています。 findAllを598.56Bに変更するにはどうすればよいですか？

Answer 1

find_allが返されるリストが空である理由は、そのデータがそのURLにGETリクエストを送信するだけで完了しない別の呼び出しで生成されるためです。 Chrome/Firefoxの[ネットワーク]タブを見てXHRでフィルタリングすると、各ネットワーク操作のリクエストと応答を調べることで、GETリクエストを送信する必要があるURLを見つけることができます。この場合

我々がここで見ることができるように、それは、https://query2.finance.yahoo.com/v10/finance/quoteSummary/AAPL?formatted=true&crumb=8ldhetOu7RJ&lang=en-US&region=US&modules=defaultKeyStatistics%2CfinancialData%2CcalendarEvents&corsDomain=finance.yahoo.comです：

だから、どのように我々はこれを再作成するのですか？シンプル！ ：

from bs4 import BeautifulSoup 
import requests 

r = requests.get('https://query2.finance.yahoo.com/v10/finance/quoteSummary/AAPL?formatted=true&crumb=8ldhetOu7RJ&lang=en-US&region=US&modules=defaultKeyStatistics%2CfinancialData%2CcalendarEvents&corsDomain=finance.yahoo.com') 
data = r.json() 

これはdictとしてJSON応答を返します。そこから、後でデータを見つけるまでdictをナビゲートしてください：

financial_data = data['quoteSummary']['result'][0]['defaultKeyStatistics'] 
enterprise_value_dict = financial_data['enterpriseValue'] 
print(enterprise_value_dict) 
>>> {'fmt': '598.56B', 'raw': 598563094528, 'longFmt': '598,563,094,528'} 
print(enterprise_value_dict['fmt']) 
>>> '598.56B'