htmlunitを使用してHTMLページを取得する

Question

ウェブサイトのHTMLページ（例：http://htmlunit.sourceforge.net）を取得しようとしていますが、IlleagalArgumentExceptionというエラーが発生しました：宣言されたフィールドクラスorg.apache.http.impl.client.HttpClientBuilder.dnsResolver 。私のコードは以下の通りです：

public class Main1 { 
    public static void main(String[] args) { 
      try { 
       homePage(); 
      } catch (Exception e) { 
       // TODO Auto-generated catch block 
       e.printStackTrace(); 
      } 
     } 

    public static void homePage() throws Exception { 
      try (final WebClient webClient = new WebClient()) { 
       final HtmlPage page = webClient.getPage("http://www.google.com"); 
       String text = page.asText(); 
       System.out.println(text); 
      } 
     } 
    } 

コードに何か問題はありますか？ありがとう

Answer 1

jsoup parserを使用できます。

リトルコードサンプル

Document doc = Jsoup.connect("http://en.wikipedia.org/").get(); 
Elements newsHeadlines = doc.select("#mp-itn b a"); 

高度な使い方

File input = new File("/tmp/input.html"); 
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/"); 

Element content = doc.getElementById("content"); 
Elements links = content.getElementsByTag("a"); 
for (Element link : links) { 
    String linkHref = link.attr("href"); 
    String linkText = link.text(); 
} 

参考URLの

• Dom Navigation
• Extracting
• Working with URLs