HtmlAgilityPackを使用したページ番号付けページのページ

Question

html agility packを使用してWebスクレーパーを作成しています。ページネーションに関する質問があります。 私は、私が進むのを助ける何かを見つけるためにウェブを検索しましたが、私は近くにいません。私はすべてのページ付けされたページの内容をこすりする必要があります。 htmlagilityを使用してそれを行うためのメカニズムはありますか？ セレンのような他のアプリケーションも見つけてそれを調べました。私はhtmlagilityと共にセレンを利用することができる方法はありますか？ どんな種類の助けでも大歓迎です。 ありがとうございました

Answer 1

確かに、セレンと一緒にHAPを使用することができます。基本的に、あなたはセレンドライバのいずれかを使用してURLに移動し、HAP、次のようなものの中にHTMLを読み込むことができます。

IWebDriver driver = new FirefoxDriver(); 
driver.Navigate().GoToUrl(url); 
HtmlDocument doc = new HtmlDocument(); 
doc.LoadHtml(driver.PageSource); 

あなたは現在のページを解析を終えた後、次のページにドライバをナビゲート（次のページリンクを見つけてクリックアクションを実行します）、HTMLを再びHAPに渡します。とにかく、ほとんどのHAP機能はSeleniumに置き換えることができると思いますので、Seleniumのみを使用することを検討してください。