ユーザーがrobots.txtファイルにアクセスできないようにしたいが、検索エンジンに読み込ませたい。出来ますか？ はいの場合はどうすればよいですか？ .htaccessで次のように書くとうまくいくと思いますが、検索エンジンがアクセスするのを妨げるのではないかと心配しています。.htaccessからrobots.txtに直接アクセスできないようにする
順序は、あなたが何らかの形で確実に私はしていないユーザーからの検索エンジンを区別することができない限り、標準
robots.txtは、ドメインのルートから提供されているので はすべて
おかげ
から拒否できるように、拒否あなたが求めていることは可能だと思います。
ユーザエージェントまたは場合によってはIP範囲でフィルタリングを試みることができます。
robots.txtファイルの内容がユーザーに表示されないようにする理由はありますか？結局そのファイルのすべてが公開されています。
他にも、Google、CNN、BBCなどのロボットがrobots.txt（google.com/robots.txt、bbc.com/robots.txt）を妨害する可能性はないということもわかった。私はちょうど誰かから問い合わせを受けたので、尋ねて確認するように考えました。 – Ali
robots.txtの代わりにx-robots-tagタグやrobotsメタタグを使用して、ファイルへの依存を減らすことができます。たとえば、次のディレクティブを.htaccessファイルに追加します。
<Files ~ "\pdf$">
#don't index pdf files
Header set X-Robots-Tag "noindex, nofollow"
</Files>
あなたは "robots.txtの" 上のあなたのケースに適応することができ答えがあります：http://stackoverflow.com/questions/7475870/robots-txt-htaccess-block-google ？rq = 1 – Katapofatico