概要
検索エンジンがクロールする対象を設定できるrobots.txtというテキストファイルがあります。
クロールの仕方を設定する場合は、通常作成者がrobots.txtを作成しなければいけません。
クロールとは、検索エンジンにインデックスする（掲載させる）ために、
クローラーという検索エンジンのプログラムがWebページを巡回することをいいます。
クロールすることで、対象ページが検索エンジンに掲載されます。
目次
手順
[1]インストール
管理画面 ＞ プラグイン ＞新規追加よりプラグイン名を入力して検索
[2]設定
管理画面 >設定＞ KB Robots.txt
Robots.txt Editorを開く
入力フォーム部にrobots.txtの内容を書きます。
初期に設定されている
# This is your robots.txt file. Visit Options->Robots.txt to change this text.
はコメント行のため消しても消さなくても良いです。
Robots.txt Editorの「Robots.txt Samples」に記述のサンプルが記載されています。
Robots.txt Samples
■Ban all robots(全ロボット拒否)
[code]
User-agent: *
Disallow: /
[/code]
■Allow all robots(全ロボット許可)
[code]
User-agent: *
Disallow:
[/code]
■Ban specific robots(特定のロボット拒否)
下記の場合Google botを拒否
[code]
User-agent: Googlebot
Disallow: /
[/code]
■Allow specific robots(特定のロボットに許可)
下記の場合Google botのみ許可
[code]
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
[/code]
<
h4>■Ban robots from part of your site(特定のページのみ拒否)/
<
h4>
下記の場合/archives/のクロールを禁止
User-agent: *
Disallow: /archives/
コメント