HTMLのウェブサイトのフルソースコードをJavaのString
にロードしようとしています。私はいくつかのアプローチを試みましたが、ほぼすべてのソースコードを取得しています。それを悪化させるためには、私が手に入れない主要な部分の1つが、私が最も必要とする部分です!Java - HTMLウェブサイトの完全なソースをロードする方法
3
A
答えて
6
URL url = new URL("http://www.website.com");
URLConnection spoof = url.openConnection();
//Spoof the connection so we look like a web browser
spoof.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0; H010818)");
BufferedReader in = new BufferedReader(new InputStreamReader(spoof.getInputStream()));
String strLine = "";
String finalHTML = "";
//Loop through every line in the source
while ((strLine = in.readLine()) != null){
finalHTML += strLine;
}
5
探しているコンテンツが実際にajax/javascriptを使用して動的に読み込まれている可能性があります。
たとえば、Webサイトに空のDIVタグが含まれている可能性があります。このタグには、ページが読み込まれた後でのみ(AJAXの別の場所への呼び出しによって)多くのものが格納されます。
+0
この場合、 'HtmlUnit'や同様のライブラリがこれらの動的コンテンツを処理できる大きな可能性があります。 – bezmax
関連する問題
- 1. 完全なHTMLページをRongのMongoDBに保存する方法
- 2. スパークイメージコントロールをロードして完全なロードを待機させる方法
- 3. イメージがJavaで完全にロードされるまでの待機方法
- 4. ADFで子ビューオブジェクトを完全に再ロードする方法
- 5. Selenium WebDriver:iFramesが完全にロードされるのを待つ方法
- 6. このページの完全なHTMLソースを「more」ボタンで読むには
- 7. セレン - ページが完全にロードされるまで待つ方法
- 8. PHP - 完全にロードされた外部ページからHTMLをロードする
- 9. コントローラー内のアクションの完全なHTML出力を取得する方法は?
- 10. XML DOMオブジェクトから完全なXMLソースを取得する
- 11. WatiNプロパティを使用して完全なHTMLコンテンツを取得する方法
- 12. Javaで完全なLaTeXパーサー
- 13. 不完全なファイルコピーJava NIO
- 14. Javaでスーパークラスメソッドを完全に非表示にする方法
- 15. orientdb:メモリデータベースを完全にシャットダウンする方法(Java/Scala API)
- 16. コアからJava GUIを完全に分離する方法
- 17. MP3ファイルをJavaで完全にプリバッファーする方法
- 18. 完全なCSSで結晶レポートの完全なHTMLコードを取得
- 19. サムスンスマートテレビアプリケーションの完全なHTMLアプリケーションのソースコード
- 20. 完全なxpathを持つHTMLアジリティパック
- 21. 完全な単語のマッチング方法は?
- 22. 不完全なalembic runのクリーンアップ方法
- 23. Google Charts - ツールチップの完全なHTML
- 24. のJava:なし完全な再試行
- 25. J2MEで完全なHTTP POST要求を表示する方法
- 26. SBT 0.10.0で完全なスタックトレースを取得する方法は?
- 27. FTPでソースと宛先の完全なパスを取得する方法パケット解析によるアップロード/ダウンロード?
- 28. 完全なHTMLページのJSFで国際化を行う正しい方法は?
- 29. PHPキャッシュmysqlまたは完全なhtml?
- 30. 完全な配列をJavaで確保
あなたは同情していますが、あなたのコードを表示し、受け取っていないコンテンツの性質をより詳細に説明するまで、あなたは多くを得られません。 –
あなたがこれまで行ってきたことを見せて、さらに詳しく説明してください。 – RanRag
HTMLウェブサイトは公開されていますか?もしそうなら、あなたはリンクを投稿できますか? – mellamokb