ブラウザでレンダリングされたように、JavaでWebページのソースコードを完全に取得します。

ページ読み込み中またはページ読み込み後に、いくつかのjavacript/ajax呼び出しを使用してWebページの一部のフィールドを埋め込むWebページはほとんどありません。 1つの例はhttp://www.sohos.co.uk/MEN-T-Shirts/Iron-Fist-Mens-Clothing/--Iron-Fist-Bloody-Mess-T--Shirt_ct271bd5pd197.htmlで、サイズドロップダウンボックスのコンテンツはjavascriptを使用して埋められます。ブラウザでレンダリングされたように、JavaでWebページのソースコードを完全に取得します。

このタイプの完全に読み込まれたページをJavaで取得することは可能ですか？私は、単純にHttpClientや他のメソッドを使用するだけで十分ではないが、これを行うことができれば、それは本当に素晴らしいだろうとセレンを使用して、思う。

私はすべてのウェブサイトに適用できる一般的な解決策が必要です。

すべての入力/ポインタは非常に高く評価されます。

おかげ

Jitendra

セレンのWebDriverは異なる実装を通じて、このようなエミュレーションをサポートしています。そのうちの1つはHtmlUnit（ヘッドレスJavaブラウザ）です。

2011-07-12 19:14:43 Bozho

ありがとうbozho、私が知りたいことの1つは、サイト固有のコーディングが必要です。つまり、ページのコードを調べて、適切な関数を呼びたくないということです。私はいくつかの一般的な解決策をしたい。 – RandomQuestion

しかし、私は間違いなくそれを試してみましょう。 – RandomQuestion

HI bozho。私はwebdriverとhtmluniotの両方を試しました。どちらもReturn HTMLページコンテンツのみです。 ' – BasK

答えて