ウェブクローラはCookieを識別しますか？

ウェブクローラはクッキーを使用するのですか、それとも破棄しますか？ウェブクローラはCookieを識別しますか？

出典

2009-07-03 Anonymous

@perezclark私はありませんあなたは良い質問があると思うが、あなたは質問とタイトルの両方の言い回しをたくさんする必要がある。 –

そしておそらくいくつかの疑問符を落とす...リドラーがあなたを探していると聞いた。彼の町や何かにそこにいくつの疑問符があるかもしれない何か。 – peirix

「ウェブクローラはクッキーを使用するのか、それとも破棄するのか？ –

クローラは、Cookieを発行するコマンドに反応せず、次にページを訪問するまで保存しません。

クローラはJavaScriptを実行しません。

クローラは、デフォルトのページ（クッキーとJavaScriptがオフになっているもの）を読み、表示内容に基づいてランク付けします。

出典

2009-07-03 08:31:59 User

申し訳ありません-1 - クッキーを使用するWebクローラーがあります - IBMのOmnifind - http://publib.boulder.ibm.com/infocenter/discover/v8r5m0/index.jsp?topic=/ com.ibm.discovery.es.ad.doc/administering/iiysatcookie.htm – DanSingerman

それは私にとって新しいものです。ありがとう。 – User

2010年現在、GoogleBotやいくつかのスパムロボットなどのクローラの中には、JS、Flashの実行機能さえあるものがあります。 – Piskvor

クローラは、httpでファイルをダウンロードし、さらにファイルをダウンロードするためのURLを探します。

クローラの作成者は、javascriptとcookieを使用するか、無視するかを決定する必要があります。

ほとんどのクローラは、私は信じて、現在JavaScriptとクッキーを無視しますが、それはケースのように持っていない理由（とあなたは確かにそれに頼るべきではありません、セキュリティ上の理由から言う）

出典

2009-07-03 08:42:31 DanSingerman

ウェブクローラはCookieを識別しますか？

答えて

関連する問題