Python - ウェブページの解析ソースコードを取得

Question

JavaScriptを使用してデータを保護するウェブページからデータを削り取る必要があるため、ブラウザからページにアクセスしてソースコードを見ると、 Mozillaの "Analyze element"を実行したり、自分のコンピュータ上でそのページをダウンロードしてソースコードを調べると、必要なデータが暗号化されていないことがわかります。

import requests 
source = requests.get(url).text 

が、私はまた、wgetコマンドを使用しようとした

未解析のソースコードを受け取ります：現時点では

私が使用しています

import wget 
source = wget.download(url) 

をそれがダウンロード「アクセスが拒否されたCloudflare」ページ。

Pythonで解析されたソースコードにアクセスするにはどうすればよいですか？

Answer 1

JavaScriptでページをレンダリングする場合は、PhantomJSなどのheadless browserをダウンロードしてダウンロードし、ドキュメント構造にアクセスする必要があります。ヘッドレスブラウザはJavaScriptをページ上で実行し、実際のブラウザと同様に、外部データを取得したり、テーブルにデータを取り込んだりしてドキュメントを作成します。ここで

はPhantomJSプログラムがページをダウンロードして、ドキュメントのタイトルを取得する例です。

var page = require('webpage').create(); 
page.open(url, function(status) { 
    var title = page.evaluate(function() { 
     return document.title; 
    }); 
    console.log('Page title is ' + title); 
    phantom.exit(); 
});