ボットが動的javascriptファイルをクロールするのを防ぐ

Question

ボットがクロールするのを防ぐ必要があります.jsファイル。あなたが知っているように、Googleは.jsファイルをクロールすることができます。 .jsファイルは1つだけですが、新しい展開と更新で変更されます。例えば

：

<script type="text/javascript" src="/7c2af7d5829e81965805cc932aeacdea8049891f.js?js_resource=true"></script> 

私はこれが正しいことを、私はこれを確認する方法がわからないので、確認する：また

// robots.txt 
Disallow: /*.js$ 

、これがあれば同じです.jsファイルはcdnから配信されましたか？

Answer 1

# robots.txt 
Disallow: /*.js?js_resource 

。 Google Search ConsoleのAKA Googleウェブマスターツールでrobots.txtをテストできます。

Answer 2

globbingと正規表現は、robot.txtファイルではサポートされていません。 http://www.robotstxt.orgから：また

なおグロブと正規表現は ユーザーエージェントのいずれかでサポートされているか、ラインを禁止されていません。 User-agent フィールドの「*」は、「任意のロボット」を意味する特別な値です。具体的には、 には「User-agent：bot」、「Disallow：/ tmp/*」、「Disallow： * .gif」のような行はありません。

あなたは代わりにあなたがロボットファイルで許可しないディレクトリにJavaScriptファイルを移動する必要があります。これは正常に動作します

User-agent: * 
Disallow: /hidden-javascript/