Webサイトのコンテンツをプログラムで分析するにはどうすればよいですか？

Question

私は新しい趣味のプログラミングプロジェクトを探していました。プログラムでWebサイトから情報を収集し、そのデータを分析して集計やフィルタリングなどの作業を行う方法は面白いと思います。たとえば、Craiglistのリストを取得し、地理的な領域だけでなく特定の都市に一致するものを表示するようなアプリケーションを作成したい場合は、これは単なる例ですが、Googleがサイトのコンテンツを分析してランク付けの仕方を知るように高度で洗練された方法で進むことができます。

私はその主題について次は何も知らず、そのことについてもっと学ぶことが楽しいと思うし、その話題では非常に控えめなプログラミングプロジェクトをやってみたいと思う。私の問題は、私が知っていることはほとんど分かっていないことです。

これらの種類のプログラムは何と呼ばれていますか？ Googleで検索する際に便利なキーワードは何ですか？入門用の読書資料はどこで入手できますか？面白い論文がありますか？

私は私の無知を私を乱用する誰かが必要なので、私は自分でいくつかの研究をすることができます。

Answer 1

cURL（http://en.wikipedia.org/wiki/CURL）は、ウェブサイトのコンテンツを取得してプロセッサに渡すための優れたツールです。

特定の言語に習熟している場合は、cURLをサポートしているかどうかを確認してください。そうでない場合は、PHP（php.net）を起動するのがよいかもしれません。

cURLを使用してウェブサイトのコンテンツを取得した場合、その言語のテキスト処理機能を使用してデータを解析できます。正規表現（http://www.regular-expressions.info/）やPHPのstrstr（）などの関数を使用して、検索する特定のデータを検索して抽出することができます。

Answer 2

他のサイトを「スキャンする」プログラムは、通常web crawlersまたはスパイダーと呼ばれます。

Answer 3

私は最近、Webサーバーの.comドメイン全体を基本的にクロールするGoogle検索アプライアンスを使用するプロジェクトを完了しました。
GSAは、検出したすべてのURLにインデックスを付け、結果を提供する非常に強力なツールです。
http://code.google.com/apis/searchappliance/documentation/60/xml_reference.html