私のSEOベースがカバーされていることを確認するために、いくつかの私のウェブサイトを見ています。問題のサイトにプライベートページはなく、すべてのページのインデックスを作成します。とにかくrobots.txtファイルを含めても、それが必要ない場合でも、私のサイトはGoogleにとってより評判が良く、重要に見えますか?一般公開のWebサイトにはrobots.txtファイルが絶対に必要ですか?
0
A
答えて
8
それがなければ、あなたのサーバーは依然として依頼者に404メッセージを吐き出しているので、空白を含めてもかまいません。おそらく空のrobots.txtファイルよりも大きいでしょう。
0
いいえ、それはできません。
googleには独自のルールがあり、robots.txtの存在に依存することはありません。
2
Googleだけがそれに答えることができます。
wikipediaによると、robots.txtはブラックリスト、レート制限、およびサイトマップのみに使用されます。
3
Googleによると、それは良い考えです。彼らの指示/ガイドラインは、実際にはかなり徹底的です。
0
検索エンジンはrobots.txtファイルを探します。それがなければ、検索エンジンは404を得るでしょう。それが空白であってもそれを持つことは良い考えです。
1
この質問は回答されましたが、答えは少し古く、この質問は引き続き検索結果に現れ、状況は変わりました。
あなたのサイトのインデックスすべてに検索エンジンたい場合は、 は、robots.txtファイル(ない空であっても)必要はありません。
(グーグルの)JohnMu、またfollowing suggestionを行います
私も少し先に進むと、おそらく完全に robots.txtファイルを削除することをお勧めします。
関連する問題
- 1. サイトのPHPサイトには一般的なクラスが必要ですか?
- 2. BLLは絶対に必要ですか?
- 3. 公開ASP.NET Webサイト
- 4. SOAP Webサービス:WSDLの公開ページが必要ですか?
- 5. caffe内のdeploy.prototxtファイルのどの部分がテストに絶対必要ですか?
- 6. ClickOnceの公開 - 「ファイル 『のdefault.htm』は、すでにこのWebサイトに存在する」
- 7. 展開ASP.NET Webサイト:セットアップには* .msiが必要な理由は何ですか?
- 8. ASP.NET - WebサイトをIISに公開する
- 9. 公開ajaxのWebサイト
- 10. プロファイルを公開せずにWebサイトを公開する方法
- 11. Visual Studio 2010 - Webサイトの一部を公開しますか?
- 12. 公開ページフィードにアクセストークンが必要なのはなぜですか?
- 13. 無料で一般公開されているWebサービスは何ですか?
- 14. .snkファイルから公開鍵を公開する必要はありますか?
- 15. 公開HTMLフィールドコントロール相対URLを絶対URLに変換
- 16. Heroku Git Repoは一般に公開されていますか?
- 17. HTTPプロキシでGETリクエストに絶対URIが必要なのはなぜですか?
- 18. ソースコードを一般公開する場所
- 19. トランザクションが成功すると、リダイレクトは絶対に必要ですか?
- 20. どのように私のWebサイトを公開しますか?
- 21. Webサイトの公開後にGlobal.asaxのスレッドが機能しない
- 22. サイトがライブ中にASP.NET Webアプリケーションを再公開する
- 23. エンタープライズJava Web Appはファイルシステムにアクセスする必要があるのが一般的ですか?
- 24. Azureに公開されているWebサイトでは、
- 25. GAEアプリを一般公開する前に、セキュリティチェックリストとは何ですか?
- 26. VS Express版Webサイトの公開
- 27. 私の一般的なFutureの実装にはCompletedイベントが必要ですか?
- 28. jQueryプラグイン:一般公開されている関数ですか?
- 29. コマンドラインのbatファイル(究極の.batファイル)からASP.NET Webサイトを公開
- 30. カメラからストリームを公開するにはFMSが必要ですか?
無効なrobots.txtファイルとはみなされませんでしたか? –