jQueryとXPathでWebページをスクラップする方法はありますか？

Question

Firebug経由でWebページのヘッダーにjQuery JavaScriptのリンクを張ることができます。それから私はそれを掻き集めるためのスクリプトとそれがリンクしているページを実行することができます。

このスクリプトをjQueryまたは一般的なJavaScriptで作成するにはどうすればよいですか？いずれかのjQuery/Javascriptに、ページ上の要素（およびリンク先のページ）にアクセスするためのXPathを使用できるインタフェースがありますか？

Answer 1

あなたはすぐにページのHTMLを取得することができます：これはリテラル文字列を返しますし、それがルート要素をキャプチャしません

var html = document.documentElement.innerHTML; 

。

Answer 2

まず、ブラウザの外にJavaScriptランタイムが必要です。最も一般的なのはNode.jsです。次に、DOMクライアント側を作成する方法が必要になります。これは通常jsdomを使用して行われます。

だから、あなたのスクリプトはすべき：

1. jQueryの
を使用して、クライアント側のDOM
2. パースを作成
3. （jsdomがあなたのためにこれを行いますが、あなたはrequestを使用することができます）htmlページをダウンロード

サンプルNode.jsスクリプトを次に示します。

var jsdom = require("jsdom"); 

jsdom.env("http://nodejs.org/dist/", [ 
    'http://code.jquery.com/jquery-1.5.min.js' 
    ], function(errors, window) { 
    console.log("there have been", window.$("a").length, "nodejs releases!"); 
}); 

ので、同様にあなたは、それを実行します：

$ node scrape.js 

が最初jsdomをインストールすることを忘れないでください：

$ npm install --production jsdom 

Answer 3

あなたは、まさにこのために構築されたWeb-こするライブラリに興味があるかもしれません目的（免責事項：これは私のプロジェクトです）。これは、コマンドラインから実行できるヘッドレスWebkitの実装であるPhantomJSに基づいており、複数のページからデータをスクラップし、スパイダーとスクレイプへの追加のURLを見つけるための非常に単純な構文を持っています。