WebクローラーとGET対POST要求

WebクローラーはGET要求のみをフォローし、POSTは要求しないと聞いています。WebクローラーとGET対POST要求

実際のところ、これは正当な前提ですか？

2009-06-19 Dana Holt

これは本当にクローラの種類によって異なります。 – Alex

一般に、POST要求を行いません。これはちょうど現在の状況であり、どこに指示されていないと私は信じています。いくつかの検索エンジンはexperimenting with crawling formsですが、これは依然としてGETリクエストです。

出典

2009-06-19 19:08:50 molf

2年後、[Googleはそれを変更しました]（http://googlewebmastercentral.blogspot.de/2011/11/get-post-and-safely-surfacing-more-of.html）実際には、Googleにパスワードは忘れてしまっています。今はログインフォームがありますが、これは私には絶対に意味がなく、恐ろしいものです。 – korkman

クローラがフォームタグのURLを解析して追跡するかどうか尋ねていますか？いくつかの意志。しかし、彼らは常にGET動詞を使うはずのかなり安全な仮定です。

スパムボットは別の話です。

出典

2009-06-19 19:07:55

私の主な質問は、POST動詞を使用するかどうかということでした。 –

いい意思のある人は誰もいません。しかし、それは単なるリクエストヘッダーであり、多くの人が悪意を持っています。悪のためのデザイン。 – marr75

丁寧なクローラはGET要求のみを使用します。ちょうど丁寧なクローラーがbots.txtに従います。

しかし、Googleでも丁寧な定義ですばやく遊び心があり、クローラはstackoverflowなど一部のサイトで深刻な帯域幅の被害を受けています。

出典

2009-06-19 20:37:53 marr75

私は彼らがrobots.txtに従うと信じています。 –

WebクローラーとGET対POST要求

答えて

関連する問題