2016-04-04 11 views
0

今日はrobots.txtの標準をサポートするために、自分のWebクローラを向上しながら、私はhttp://www.w3schools.com/robots.txtこの「robots.txt」の構文は空白の「Disallow:」になっていますか?

User-agent: Mediapartners-Google 
Disallow: 

に次のコードに出くわしたこの構文が正しいですか?目的に応じて、Disallow: /またはAllow: /にする必要はありませんか?

Allow:/

あなたはどちらか何を禁止しない、またはすべてを許可している:

答えて

2
Disallow: 

は意志としてすべてを、できるようになります。

+0

ありがとうございました。これですべてがはっきりとわかります:) –

+0

警告:2週間後に、Google Search Consoleに「User-agent:* Disallow:」を含むrobots.txtを追加しました。同じ日にrobots.txtが作成されたが、Googleはそのインデックスからサイトを削除した。あなたが真に検索エンジンを許可しない限り、このファイルはほとんど役に立ちません。いくつかのSEOツールを幸せにするために追加しないでください! –

関連する問題