c＃web-based crawler

Question

クローラに関するいくつかの質問があります。

1. 純粋にウェブ上で動作するクローラを作成できますか？つまり、Webプロジェクトの管理ページから起動または停止できるクローラです。

2. クローラを書くのに最も便利な言語は何ですか？私はC＃でそれを書くつもりだった。

3. 最も重要なもの：クローラはどのように機能しますか？つまり、HttpWebRequestとHttpWebResponseを使用して作成することがわかります。それぞれのページを訪問した後にクローラが戻ってきてコードが結果を評価し、クローラを他のWebサイトに送信するキューを作成すると思います。したがって、基本的にこの情報が真であれば、Webプロジェクトを使用してクローラを作成することを考慮して、ページを常に上に維持し、サーバーのクローラの負担はどれくらい大きくなるでしょうか？それはサーバーを遅くするか、それとも比較的小さな仕事ですか？私が知っている

、多くの質問がここにありますし、私は本当に答えを感謝します:)

Answer 1

1）絶対にクローラがウェブ上でpurleyを仕事ができます。クローラはASP.NETアプリケーションでも、管理ページでサーバー上のタスク（Webクローラ）を起動または停止することもできます。

2）VB.NETまたはC＃が動作します。彼らはどちらもウェブを扱うための広範なライブラリを持っています。

3）あなたが探しているのは再帰関数だと思います。まず、インターネット上で始まるページを選択します（多くのリンクが含まれています）。ページ内の各リンクについて、クローラーのmainメソッドを再度実行します。これを何度も繰り返します。おそらく、クロールまでの「深い」方法を制限したいと思うでしょう。私はあなたも各ページ内でいくつかの仕事をしたいと思います。