Drupal robots.txt disallowはまだApacheのログファイルに記録されますか？

Question

Drupalウェブサイトの特定のエージェントのrobots.txtにいくつかのルールを設定しました。

私には1つの質問があります。このエージェントがWebサイトにアクセスしようとしている場合、このアクセスはまだ私のApacheのaccess_logファイルに記録されますか？

Answer 1

Disallow robots.txtは、技術的にユーザエージェントがあなたのウェブサイトにアクセスすることを妨げていません。各ユーザーエージェントは、robots.txtを尊重したいかどうかを決定します。

デフォルトでは、Drupalはrobots.txtファイルの内容で何もしていません。また、robots.txtの内容はサーバーのログにまったく影響しません。