Pythonを使用した動的ページへのアクセスとWebスクラップ

Question

フォームパラメータを使用してWebページにアクセスしようとしています。 クロムの開発者タブでネットワークヘッダを使用してフォームパラメータが見つかりました。しかし、それは働いていない これらのパラメータが使用される前に、代わりに、それだけでページを開いています（すなわちwww.irishancestors.ie/search/townlands/ded_index.php）

import webbrowser 

webbrowser.open('http://www.irishancestors.ie/search/townlands/ded_index.php?action=listp&parish=Aghagallon') 

私の意図は、すべての郡の各地区選挙課のすべてのテーブルを取得することです。

Answer 1

ウェブブラウザを使用すると、それがないと思う何をしません。

あなたがウェブページに/ポストデータを取得したい場合は、requests

>>> import requests 
>>> r = requests.get('https://api.github.com/events') 
>>> r = requests.post('http://httpbin.org/post', data = {'key':'value'}) 

webbrowserは、Webブラウザを起動するためです使用する必要があります。

使用中のjavascriptがたくさんある場合はうまくいかないことに注意してください（まあ、あなたのところでもっと多くの作業が必要です）。あなたがJavascriptをたくさん持っているなら、使いやすいかもしれません。selenium