KB Robots.txt– tag –

【概要】 検索エンジンがクロールする対象を設定できるrobots.txtというテキストファイルがあります。 クロールの仕方を設定する場合は、通常作成者がrobots.txtを作成しなければいけません。 クロールとは、検索エンジンにインデックスする（掲載させる）...