ONDrecords【WEBまわりの事をやっております】WEBデザイン・通販システム・予約システムなどが出来ます!

検索ロボットを巡回させない方法

検索ロボットに巡回させないためには、
robots.txtを、サーバーのルート階層に置いておく。

サイトすべてを拒否する場合

User-agent: *
Disallow: /

※User-agent: * は、すべてのクローラーの意味

特定ディレクトリを拒否する場合

User-agent: *
Disallow: /フォルダ名/

その他「Allow(クロールさせる)」「Disallow(巡回拒否)」を組み合わせたり、様々な方法があります。

Disallow: /フォルダ名/
Allow: /フォルダ名/index.html

参照させて頂いたサイトはこちら

Copyright © 2013 ONDrecords. All rights reserved.