robots.txt

2熱

1答えて

robots.txt - noindex images、noindex admin - wordpress

私は現在、私のWP Adminのインデックス登録を許可しないrobots.txtファイルを使用しています。私も自分の画像をインデックス化STOPに検索エンジンを希望 User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php ：現在、私のロボットファイルは次のようになります。これらは私のプライベートポートフォリオイメ

1熱

1答えて

複数のロボットメタタグ

。そのようなサイトに複数の見かけ上競合するロボットのタグを付ける理由はありますか？それとも私の知らない目に見えるほど狂っているのですか？

0熱

2答えて

秘密のフォルダを非表示にするrobots.txtのベストプラクティス

私は自分のウェブサイトに秘密のフォルダを持っており、検索エンジンにそのことを知らせたくありません。このフォルダ名をrobots.txtに書き込むことは、自分の訪問者にその秘密のフォルダについて知らせることになるので、私はrobots.txtのDisallowルールにフォルダ名を入れなかった。私の質問では、検索エンジンはこのフォルダについて知ることができますか、このフォルダにリンクが公開されていな

0熱

1答えて

Googleのインデックスは私のウェブサイトで安全ではない結果を返します

私はウェブサイトがJoomlaをベースにしており、Googleやビンで検索すると自分のウェブサイトが「安全でないコンテンツ」にリダイレクトされていると言う人がいます。その安全でない結果にリダイレクトすることで、約100個のファイルが残っていることがわかりました。私はこれでした：ポイント1. を私がコンピュータにJoomlaのインストールとデータベースのバックアップを作成しました。ポイント2.

1熱

1答えて

Googleは自分の画像をインデックスに登録していません（画像の外部サーバー）

www.csselectronics.comでGoogleの画像を取得しようとしています。残念ながら、Google Search Consoleは3つの画像を索引付けしているように見えますが、それ以上のものは長い間存在しています。私は私のrobot.txtファイルまたは何か他のものに変更する必要があります何かが https://s3-eu-west-1.amazonaws.com/images.s

1熱

1答えて

Robots.txtとAllow？

ウェブクロールが新しく、特定のrobots.txtファイルの理解に問題があります。 User-agent: * Allow:/ Sitemap: sitemapURLHere だから私は/hereを見上げると、それは任意のパスのためだった。この場合、これは、ウェブサイトを持っているものです。これは、ウェブサイトがすべてのページをクロールできることを意味しますか？しかし、ときに私はsite

1熱

2答えて

TYPO3：typoscriptはtxtファイルの改行を尊重しません

私はrobots.txtファイルを生成し、すべてrealurlで正常に動作します... これは、改行が尊重される方法はないのですが、なぜですか？のTypoScript：HTTPレスポンスの内容を代わりテキスト/ HTMLとして扱われる理由 # robots.txt robots = PAGE robots { typeNum = 201 config { di

-1熱

1答えて

robots.txtを使用している検索エンジンのURLを100ブロックブロック

私はGoogleのインデックスに登録したくない約100ページを私は持っています... robots.txtを使ってブロックする方法はありますか？各ページを編集してにnoindexメタタグを追加するのは非常に面倒なこと.It'd .... 私はブロックするすべてのURLが www.example.com/index-01 ...のようになります.htmlを www.example.com/index

0熱

2答えて

拒否されたページ（ロボット）がまだsitemap.xmlにあるとどうなりますか？

私はページのアセット（画像）と共に索引付けされないようにしたい。クローラにそのページをスキップするように指示しても、そのページがまだsitemap.xmlに登録されている場合、そのページの情報はインデックスに登録されますか？

1熱

2答えて

robots.txtを修正するには

完全な免責事項、私はプログラマーではありません、私は私が持っているすべての小さな質問のために私の開発者に頼らない方法を学ぼうとしているSEOです。現在、私の問題はこれです。 Screaming Frogを使用してサイトをクロールしてページタイトル、メタ記述、h1、h2などをレイアウトして、変更をより簡単に計画することができます。先日、私は自分のクライアントと自分の会社のウェブサイトのレポートを