2011-07-16 18 views

答えて

1

あなたがすることはできません。 robots.txtはユーザー名やパスワードとは関係ありません。

私はあなたが二つのことが関連して考えさせられたのかわからないんだけど - おそらくあなたはより多くの情報を含めるようにあなたの質問を編集することができますか?

2

あなたがすることはできません。 robots.txtは、協力しているWebクローラや他のWebロボットが、他の人には一般に公開されているWebサイトの全部または一部にアクセスするのを防ぐために使用されます。 http://en.wikipedia.org/wiki/Robots_exclusion_standard

+0

単独の母、ポーランドを残すために検索しているために、ディレクトリどのウェブクローラに指示を含んでいますか? = D http://en.wikipedia.org/wiki/Robots_exclusion_standard – eandersson

+0

@Fuji:私は、リンクを修正しました。) – zacheusz

1

あなたがすることができません

robots.txt

関連する問題