0
今日はrobots.txtの標準をサポートするために、自分のWebクローラを向上しながら、私はhttp://www.w3schools.com/robots.txtこの「robots.txt」の構文は空白の「Disallow:」になっていますか?
User-agent: Mediapartners-Google
Disallow:
に次のコードに出くわしたこの構文が正しいですか?目的に応じて、Disallow: /
またはAllow: /
にする必要はありませんか?
Allow:/
あなたはどちらか何を禁止しない、またはすべてを許可している:
ありがとうございました。これですべてがはっきりとわかります:) –
警告:2週間後に、Google Search Consoleに「User-agent:* Disallow:」を含むrobots.txtを追加しました。同じ日にrobots.txtが作成されたが、Googleはそのインデックスからサイトを削除した。あなたが真に検索エンジンを許可しない限り、このファイルはほとんど役に立ちません。いくつかのSEOツールを幸せにするために追加しないでください! –