スクレープオファーは結果を返しません

Question

私はデータベースでこの問題を研究し、質問をし、2つの異なるエラーが見つかりました。私は503のエラーがAmazonを阻止していると判断しましたが、私は同じ行にあるが、503の戻りはありません。私はその違いを解読することができません。誰でも手伝うことができますか？私が得ているエラーは以下の通りです。私が使用していますHTMLパーサは、HTML敏捷性パックとだけアジャイル

http://www.amazon.com/gp/offer-listing/1902915208 error The remote server returned an error: (503) Server Unavailable.

と

Scrape Offers returned no results.

エラーが一貫してトラップするので、容易ではないではないです。次のスクラップでエラーが返されます。非常にランダムであり、同じ製品で一貫して発生しません。私はこれらの毎日の多くを取得していると私は価格を更新し、顧客に正しい情報を提供することを妨げている。

Answer 1

私が知る限り、問題はAmazonに送信されたUser-Agentです。 私はCURL-optionsに次のコマンドを追加しました。これは現在、US-Proxyがなくても動作します。

curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13'); 

Answer 2

20のWebページ要求ごとに1秒のスリープを入れます。それが私の問題を解決しました。