robot.txtの作成
robots.txtとは
robots.txtとは、検索エンジンに対する要求を伝えるファイルです。クローラーの巡回頻度や、sitemap.xmlの位置の設定を行うことができます。
Comitia(コミティア)では、サイトマップの位置を設定しており、クローラーの巡回頻度は設定しておりません。
robots.txtの設置場所について
設置場所は、以下になります。
www.御社ドメイン/robots.txt
robots.txtと、robots.txtについて
インターネット上では、robot.txtと、表記しているところもありますが、Comitiaでは、robots.txtで設定してあります。