クロールしようとしているページにはjavascriptコードが含まれています。 （おそらくAJAXを使用していますか？）HTMLコードに基づいてページをクロールすると、javascriptの部分を取得できません。どうやってやるの？ウェブページ内のJavaScriptコードの一部をクロール
私はPythonでHTMLコードを含むjavascriptコードをクロールできるいくつかのライブラリが必要だと思います。
お願いします。以下は
ページリンクです： ビューソース：http://www.bobaedream.co.kr/mycar/popup/mycarChart_4.php?zone=C&cno=652691&tbl=cyber
私は二つの方法をお勧めします。
まず、ajax urlを直接リクエストし、HTMLを解析します。
import requests
url = "http://www.bobaedream.co.kr/mycar/proc/mycar_regist_option.php"
data = {'param': 'ALL'}
response = requests.post(url, data=data)
# parse
...
第二に、seleniumライブラリを使用して、その上geckodriver、phantomjsと同様に、web driverを使用しています。
このライブラリは仮想ブラウザを作成し、javascriptを実行してから、javascriptで作成されたDOMをレンダリングします。
This約selenium
yumere、私はあなたの助けに深く感謝します。どうもありがとう。 –
ウェブスクレイピングにグーグルを行い、公開文書です。それは、それ自身の世界全体です。 Casper、Phantom、Selenium、Scrapyなどいくつか挙げると、さまざまなツールがあります。一部のアセンブリが必要です。 – Mikkel
ありがとうMikkel。 –