JavaのWebページのリーダー

Question

私は、Webページ内のすべてのリンクを取得したいが、javascriptのWebページの使用と、各ページには、私は次のページに移動して読むことができますどのようにリンク

の数が含まれているそのJavaプログラムに含まれています

Answer 1

この情報をJavascriptの実行ページから取得するのは難しい作業です。プログラムはページ全体を解釈し、JSが何をしているのかを理解しなければなりません。これを行っているすべてのウェブスパイダーではありません。

最近のJSライブラリ（jqueryなど）のほとんどは、HTML要素のCSSと属性を操作しています。最初に、HTMLソースとJSから「フラット」HTMLを生成し、フラットHTMLコード上で古典的なWebスパイダーを実行する必要があります。

（たとえば、FF webdeveloperプラグインでは、すべてのJSが完了したときにページの元のソースコードとページの生成コードが表示されます）。

Answer 2

あなたが探しているものはWeb Spider engineです。オープンソースのWebスパイダーエンジンがたくさんあります。たとえば、http://j-spider.sourceforge.net/を確認してください。