googleの傾向とクローラのようなプロキシローテータを使用することは可能ですか？

Question

Googleトレンドはログインする必要があるため、crawleraなどのIPローテータを使用してcsvファイルをダウンロードできますか？もしそうなら、Pythonのサンプルコードがありますか（つまり、Googleでファイルをダウンロードするpython + crawlera）。

ありがとうございます。

Answer 1

誰もあなたのためのコードを書くつもりはありません。

しかし私はここ数ヶ月間にクローラのプロキシを使用していたので、いくつかのコメントを残すことができます。

クローラを使用すると、毎回新しいIPでGoogle Trendsをスクラップしたり、毎回同じIPを使用することもできます（クローラではセッション管理と呼ばれます）。

、あなたがセッションを作成します彼らの端にあなたの要求とCrawleraとともにヘッダ 'X-Crawlera-Session':'create'を送信することができ、それに応答して、彼らは 'X-Crawlera-Session': ['123123123']を返します...そして、あなたは、あなたは、Googleからブロックされていないと思われる場合

あなたのリクエストごとに'X-Crawlera-Session': '123123123'を送信すると、Crawleraは毎回同じIPを使用します。

Answer 2

ドキュメントには、多くの言語のコード例があります。 Pythonの例については、https://doc.scrapinghub.com/crawlera.html#pythonを参照してください。

Answer 3

はい、クローラとhttps://gimmeproxy.comのような他のプロキシAPIを使用することは可能です。それはあなたのために働くかもしれないGoogleのプロキシを提供します。