Javascriptで生成されたDOMをプログラムで読み取るにはどうすればよいですか？

Question

Firebugまたは別のデバッガを使用して、Javascriptで生成されたDOMを検査できます。 Firebugでは、生成されたinnerHTMLをインタラクティブにクリップボードにコピーして、ディスクに保存することもできます。

これらの対話型タスクをプログラムで実行できるシステム/ツールはありますか？このようなツール/プラグインは、Javascriptで生成されたDOMを読み込み、プログラムでディスクに保存できる必要があります。

Answer 1

私はこれを可能にする既存のツールについて知らないので、おそらくこのタスクを解決するためにあなた自身のスクリプトを書く必要があります。

これを実現するには、確かにSeleniumのようなライブラリを使用できます。それを使用すると、Webサイトのレンダリングに使用するブラウザを選択することさえできます。

Linuxで実行している場合は、私自身のプロジェクトwebkit-scrapingもお勧めします（この推奨事項は当然のことながら少し偏っています）。これは、メモリ内のWebkitインスタンスを使用してページをレンダリングし、その中にJavascriptを実行します。 cd webkit-server && qmake && makeでサーバーをコンパイルした後、あなたはPythonでこのような何か行うことができます。

import os, sys 

sys.path.insert(0, '/path/to/webkit-scraping/lib') 
import webkit_scraping 

URL = 'http://example.org' 
OUTFILE = '/tmp/example.html' 

if __name__ == '__main__': 
    # set up a web scraping session 
    driver = webkit_scraping.webkit_server.Driver() 
    sess = webkit_scraping.scraping.Session(driver = driver) 
    sess.visit(URL) 

    with open(OUTFILE, 'wb') as f: 
    f.write(sess.body())