htmlunit未定義からプッシュを読み取ることができません

Question

htmlunitを使用してウェブサイトをクロールしようとしています。それだけで次のエラーを出力しても、私はそれを実行するたびに：

Caused by: net.sourceforge.htmlunit.corejs.javascript.EcmaError: TypeError: Cannot read property "push" from undefined (https://www.kinoheld.de/dist/prod/0.4.7/widget.js#1) 

今私は、JSについてあまり知らないが、私はpushは、アレイ動作のいくつかの種類であることを読みました。これは私にとって標準的だと私はなぜhtmlunitでサポートされないのか分からない。ここで

は、私がこれまでのコードを使用していている：

public static void main(String[] args) throws IOException { 
    WebClient web = new WebClient(BrowserVersion.FIREFOX_45); 
    web.getOptions().setUseInsecureSSL(true); 
    String url = "https://www.kinoheld.de/kino-muenchen/royal-filmpalast/vorstellung/280823/?mode=widget&showID=280828#panel-seats"; 
    web.getOptions().setThrowExceptionOnFailingStatusCode(false); 
    web.waitForBackgroundJavaScript(9000); 
    HtmlPage response = web.getPage(url); 

    System.out.println(response.getTitleText()); 
} 

私は何をしないのですか？これを回避する方法やこれを解決する方法はありますか？ ありがとうございます！

Answer 1

私は前に同様の問題が発生しました。これは、HTMLユニットがWebをスクラップするのではなく、テストハーネスフレームワークとして設計されている問題です。 HTMLユニットの最新バージョンを実行していますか？

私は両方setThrowExceptionOnScriptError(false)（コーヒーコンバータの答えで述べたように）行を追加するだけでなく、ログ・ダンプを無効にする方法の上部に java.util.logging.Logger.getLogger("com.gargoylesoftware").setLevel(java.util.logging.Level.OFF); を追加することで、あなたのコードを実行することができました。これは、の出力が得られた：

Royal Filmpalast München München | kinoheld.de 

完全なコードを次のようになります。

public static void main(String[] args) throws IOException { 

    java.util.logging.Logger.getLogger("com.gargoylesoftware").setLevel(java.util.logging.Level.OFF); 

    WebClient webClient = new WebClient(BrowserVersion.FIREFOX_45); 
    String url = "https://www.kinoheld.de/kino-muenchen/royal-filmpalast/vorstellung/280823/?mode=widget&showID=280828#panel-seats"; 

    webClient.getOptions().setUseInsecureSSL(true); 
    webClient.getOptions().setThrowExceptionOnScriptError(false); 
    webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); 
    webClient.waitForBackgroundJavaScript(9000); 
    HtmlPage response = webClient.getPage(url); 

    System.out.println(response.getTitleText()); 
} 

これは、HTMLユニット2.2.1とRedHatのコマンドラインで実行されました。お役に立てれば。

Answer 2

てみてください、あなたがページを取得しようとする前に

web.getOptions().setThrowExceptionOnScriptError(false); 

を追加します。これにより、htmlunitはエラーを無視します。しかし、例えば、エラーをスローするjavascriptがあなたが廃棄しているデータを取得するために重要である場合（これはうまくいけない）、これは100％の時間では動作しない可能性があります。それでも問題が解決しない場合は、ChromeDriverまたはGhostDriverでSeleniumを使用してみてください。

Source