2011-12-23 2 views
1

私はPerlを使用してデータを取得するためにWebスクレーパーを作成していますhttp://www.coupons.com/ LWP :: UserAgentで取得するHTMLがWebブラウザーで表示されるものと異なります。私はJavaScript変数 "CouponClubMember"の内容に興味があり、HTMLではPerlでこの変数が空です。Perlで取得したHTMLがブラウザで表示されたものと異なって見えるのはなぜですか?

アイデア?

+3

:私はちょうど私のFirefoxがCookie処理を送信し、有効に同じ文字列にagentを設定します。 –

答えて

4

以下のコードを使用して、私のブラウザと同じことが起こっています。あなたは `ユーザーagent`を設定する必要があり

use LWP::UserAgent; 

my $ua = LWP::UserAgent->new(
    agent  => 'Mozilla/5.0 (Windows NT 5.1; rv:7.0.1) Gecko/20100101 Firefox/7.0.1', 
    cookie_jar => {}, 
); 

$res = $ua->get("http://www.coupons.com"); 

if($res->content =~ /(CouponClubMember.{300})/) { 
    print $1; 
} 
関連する問題