asp.net（web spider）

Question

私は他のウェブサイトから有用な情報を得ることができるウェブスパイダーを作成することができます。 どうすればウェブサイトからファイルを取得し、自分のサーバーに保存できますか？ 例： ファイルのURLがhttp://www.abc.com/attachment.php?aid=abc どのように私のウェブサイトのユーザーにページを表示せずにファイルをダウンロードさせることができますか？http://www.abc.com/attachment.php?aid=abc ??

Answer 1

このリンクはご利用になれます。 http://www.thecodinghumanist.com/Content/HowToWriteAWebCrawlerInCSharp.aspx

Answer 2

多くの方法があります。

WebClientクラスは、WebページなどのWebリソースを取得するために使用できます。

サイトをクロールする場合は、リンクをたどって画像やその他のリソース（CSS、Javascriptなど）をダウンロードするためにコンテンツを解析する必要があります。HTML Agility Packのようなパーサーを使用することをおすすめしますHTMLを解析して、これらのリソースを照会することができます（WebClientでダウンロードすることもできます）。