jsoupを通じてWebページにアクセス中に404を取得する

Question

jsoupを介してWebページにアクセス中に404が表示されます。しかし、ブラウザを使ってアクセスすると、ページは正常に読み込まれます。

数日後にjsoupを介してページにアクセスできました。しかし今は404をスローします。 User-Agent、タイムアウトなどを追加しようとしましたが、運はありません。

Firebugでも、リクエストで404が取得されていますが、ページがブラウザに正常に読み込まれます。

ブラウザでのページの表示方法はわかりますが、Javaプログラムでは表示されません。エラーの下になって、Javaプログラムを実行するには

Document doc = Jsoup.connect("http://example.com/stock.php?"+quote).userAgent("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36") 
      .timeout(1000*7).get(); 

：

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=404, URL= http://example.com/stock.php?AAA
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:537)

より多くの情報が必要な場合は私に知らせてください。

Answer 1

デフォルトでは、JsoupはHTTPエラーを受信したときに例外をスローします。 ignoreHttpErrors〜trueを設定すると、ページがエラーを返した場合でもページの内容を読み取ることができます。

Document doc = Jsoup 
       .connect("http://example.com/stock.php?"+quote) 
       .userAgent("...") 
       .timeout(1000*7) 
       .ignoreHttpErrors(true) 
       .get();