2013-04-05 14 views
51

私はGithubを使用して私のウェブサイトのテキストを保存していますが、問題はGithubのテキストもGoogleが索引付けしていることです。同じテキストが私のサイトとGithubの両方に表示されます。例えばthis searchトップヒットは私のサイトです。 2番目のヒットはGithubリポジトリです。私のGithubリポジトリのインデックス作成を中止する方法

ソースが表示されてもGoogleがインデックスを作成しないようにします(重複するコンテンツに対してペナルティを課すことはありません)。リポジトリを非公開にする以外にインデックス作成を停止するよう指示する方法はありますかそれ?

Github Pagesの場合はどうなりますか?それらは、ソースがGithubリポジトリにあるサイトです。彼らは重複の同じ問題を抱えていますか?

テイクthis searchベストヒットはthe Marpa siteになりますが、検索結果にsourceが表示されません。どうやって?

+7

を行くことができ、私はマスターブランチの塊が許可されて表示されますが、他の全ての枝が無効になっています。これは、おそらく、索引付けされていないMarpaコンテンツの説明です。したがって、別のブランチを使用して、マスターブランチをリポジトリから削除すると、インデックス作成が停止します。 – szabgab

+0

[robots.txt指令の要約] [1] [1](http://ntzeta.com/news/avoid-search-engine-indexing) –

答えて

65

https://github.com/robots.txtファイルには、「マスター」ブランチにブロブのインデックス作成を可能にするが、他のすべての支店を制限します。したがって、あなたが「マスター」支店を持たない場合、Googleはあなたのページのインデックスを作成することになっていません。デフォルトブランチを変更するのは、「メイン」と呼んでみようとGitHubの上でGitHubの

git checkout -b main 
git push -u origin main 

にプッシュ( - 新しいブランチを作成し、あなたのクローンでは

:どのように「マスター」ブランチを削除する

次に、あなたのクローンからとGitHubのからマスターブランチを削除

に)リポジトリの設定]セクションに表示さ またはここhttps://github.com/blog/421-pick-your-default-branch

git branch -d master 
git push origin :master 

既にリポジトリをフォークしている他の人に同じことをさせてください。

あなたが財政のGitHubをサポートしたい場合あるいは、あなたはGitHubののrobots.txtのを見ると、民間https://help.github.com/articles/making-a-public-repository-private

+2

ありがとうございます。私はステップを踏んだが、github.comから直接作った。 – Gabriel

+1

面白い。私はハイジニアックの理由のために私のGithubウェブサイトのリポジトリのマスターブランチを削除しました。 –

+0

マスターブランチがない場合、githubページのレンダリングを正しく保持する方法を教えてください。 – Bevan

-5

短いawnser。はい、robots.txtで行うことができます。

Googlebotがサイトのコンテンツをクロールしないようにするには、robots.txtを使用してサーバー上のファイルやディレクトリへのアクセスをブロックするなど、さまざまなオプションがあります。

robots.txtファイルは、検索エンジンにインデックスを作成したくないコンテンツがサイトに含まれている場合にのみ必要です。検索エンジンでサイトのすべてのインデックスを作成する場合は、robots.txtファイル(空のファイルではない)は必要ありません。

Googleはrobots.txtによってブロックされたページのコンテンツをクロールしたりインデックスを作成したりしませんが、ウェブ上の他のページでそれらを見つけた場合でもインデックスを作成できます。その結果、ページのURL、および潜在的に、サイトへのリンクのアンカーテキストやOpen Directory Project(www.dmoz.org)のタイトルなど、他の一般に利用可能な情報がGoogle検索結果に表示される可能性があります。

出典:

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=93708 http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

+9

robots.txtファイルはウェブのルートにある必要がありますhttp://github.com/robots.txtへの書き込みアクセス権がありませんHTMLヘッダーでもクロールを制限できますが、Githubによって生成されたページをソースコードに変更することはできません。 – szabgab

+0

GitHubページを使用している人は、自分のUser Pageリポジトリにrobots.txtファイルを追加して、それを使ってすべてのビルドページ(username.github.io/*)のロボットを制御することができます。 )。しかし、ユーザページのソースを '' 'master''に入れる必要があるため、ソースを隠すことはできません。プロジェクトリポジトリの場合、 '' master''は削除でき、別のブランチをGitHub Pagesに使うことができます。 szabgabはGithub Pagesを使用していないので、これはOPには適用されません。 – olavimmanuel

0

プライベートレポを使用して(と自分のGitHubのアカウントをアップセル)またはプライベート提供しています別のサービスを使用して周りに方法はないと思わmasterブランチに固執したい場合自由のためのreposのようなBitbucket

+0

私はすでに(約1時間前に)「master」ブランチを削除しましたが、今は「main」ブランチを持っていますが、これで十分ですか? – szabgab

+1

GitHubs robots.txtが示しているように、これで十分です。 https://github.com/robots.txt – iltempo

関連する問題