Webクローラーが、私はRoRのを使用してい

Question

Webページからのリンクやダウンロードファイルを抽出するために、私はここで私がやりたい事はしている私のアプリケーション内のWebページへのリンクを指定します

（1 ）私は、Webページ内のすべてのリンクを抽出したい

彼らはpdfファイル（基本的にパターンマッチ）へのリンクがある場合（2）検索

（3）私は（リンクでPDFをファイルをダウンロードしたいです私のシステムに保存することができます。

私はアネモネを使用してみましたが、それは私のニーズをオーバーシュートしても、どのように私は、対応するリンク内のファイルをダウンロードしないWebサイト全体をクロール？

乾杯

Answer 1

を使用することができますファイルをダウンロードするには

はNokogiri aswellを見てください。

require 'nokogiri' 
require 'open-uri' 
doc = Nokogiri::HTML(open('http://www.thatwebsite.com/downloads')) 

doc.css('a').each do |link| 
    if link['href'] =~ /\b.+.pdf/ 
    begin 
     File.open('filename_to_save_to.pdf', 'wb') do |file| 
     downloaded_file = open(link['href']) 
     file.write(downloaded_file.read()) 
     end 
    rescue => ex 
     puts "Something went wrong...." 
    end 
    end 
end 

あなたはキャッチいくつかのより良い例外をしたいかもしれませんが、私はあなたのアイデア:)

Answer 2

あなたはscrapiを試みたことがありますか？あなたはCSSセレクターでページを掻き集めることができます。

ライアンベイツもそれについてscreencastを作りました。あなたはopen-uri

require 'open-uri' 
url = "http://example.com/document.pdf" 
file = open(url) 
c = file.read()