私はGoogleのサイトを持って、そして今日、私はGoogleが新しいrobots.txtファイル生成が見つかりました：私のrobots.txtはUser-agentです：* Disallow：/ feeds/Disallow：/ */_ /その意味は？
User-agent: *
Disallow: /feeds/
Disallow: /*/_/
それが何を意味するのか？あなたの親切な返事は感謝します。ここで
は内訳です：詳細については
User-agent: * -- Apply to all robots
Disallow: /feeds/ -- Do not crawl the /feeds/ directory
Disallow: /*/_/ -- Do not crawl any subdirectory that is named _
、www.robotstxt.orgを参照してください。
User-Agentヘッダーは、ブラウザとロボットが自分自身を識別する方法です。
Disallowの行は、ロボットが従わなければならないルールを定義しています。この場合は、クロールしないものです。
あなたのお返事ありがとうございます。しかし、これは私にとって悪いかどうかですか？ Googleは自分のrobots.txtを自動的に生成し、彼らは自分が望むことをやっているからです。 多くの感謝！ – Roland
@Roland - あなたはこれらのルールを見て、どのファイルがインデックスに登録されていないかを見て、それがあなたが索引付けされていないかどうかを判断する必要があります。そうでない場合（またはこれらのディレクトリがない場合）、これらのルールは正常です。 – Oded