robots.txt

1熱

1答えて

Googleのサイトで* .htmlファイルのインデックスを防止したいので、きれいなURLだけがインデックスに登録されます。だから私は現在、私が持っているインデックス付きwww.example.com/en/loginなくwww.example.com/en/login/index.html をしたいと思います：私はちょうど例えば禁止することができます知っている User-agent: * D

0熱

1答えて

Robots.txt正規表現のパスを禁止する

robots.txtは正規表現を受け入れますか？ Disallow: /view しかし googleは、より多くのページをインデックス化するので動作していない次のようになります。私はこれを使用し https://example.com/view/99/title-sample-text ID ----------------------^ Title ------------------

0熱

1答えて

私はMagentoの2ディレクトリ内のPDFページのインデックス作成を許可するMagentoの2

のディレクトリにPDFをインデックス許可、私は>設定をのContentに移動しますPDF名がある場合は User-agent: * Allow:/ Sitemap: example.com/sitemap.xml を： - >編集robots.txtファイルのカスタム命令、私は次のようしている2018-document.pdf私は一緒にそれを持っているように、どのように私は上記に追加するこ

0熱

1答えて

Google検索で特定のページのインデックスを作成しないでください

Google検索で特定のページをインデックスに登録することはできますか？私はワードプレスを使用しています。私はrobots.txtがボットがあなたのウェブサイトをクロールするのを防ぐことができると聞きましたが、これはインデックス作成と同じですか？それはまったく可能ですか？

3熱

1答えて

GitHubページでrobots.txtを使用する感覚は何ですか？

robots.txtファイルは、第三者のインデックスコンテンツサイトのWebクローラをブロックするために使用されていることがわかりました。しかし、このファイルの目的は、サイトのプライベートエリアを限定することであるか、プライベートエリアを保護することです。これは、robots.txtでコンテンツを非表示にする意味で、GitHubリポジトリ？私の質問はカスタムドメインを使用して例を拡張します。

-4熱

1答えて

ジャンゴ：Herokuのアプリケーションがクラッシュした "メソッド=パスをGET ="/robots.txtの

My app works fine on localhost but whenever i push it to heroku it gives the error below and app crashes

1熱

1答えて

httpsへのリダイレクト後のhttpサイトのGoogle robots.txt

Google Robots.txt Specificationには、ロボットのテキストURL http://example.com/robots.txtがドメインhttps://example.comに対して無効であると記載されています。おそらく逆もまた当てはまります。また、robots.txtのを要求したときにリダイレクトを以下について言うために、このありますが3xx（リダイレクト）有効な結

2熱

1答えて

ボットがGCloudでホストされているウェブサイトにアクセスするのを防ぐ

すべての検索エンジンのボットが私のウェブサイトにアクセスするのを阻止しようとしています。これらの権限はrobots.txtファイルに指定できますが、Google Cloudで編集するにはこのファイルにアクセスする場所がわかりません。 GcloudでPythonを使用してWebサーバーを開発しました。私は次のトピックを読むことに注意してください。 http://stocksonfire.in/s

0熱

1答えて

古いrobots.txtファイルが変更されず、現在のrobots.txt

に更新できません。私のWordPressウェブサイトが稼動していた間に、私はrobots.txtファイルを作成してすべてを禁止しました。サイトの準備ができたら、私はcpanelからrobots.txtファイルを削除し、それについてはほとんど考えなかった。最近、私はウェブサイトがGoogleの検索結果に表示されていないことを認識しました。さらに調査すると、古いrobots.txtファイルが（ルートフ

1熱

1答えて

Google検索の説明：このページには情報がありません

Googleで自分のウェブサイトを検索すると、自分のドメインと一番最初に表示されますが、説明は "です。このページでは情報がありません" <meta name="description" content="My website Search Engine description"/> <meta name="keywords" content="some,keywords"/> <title>