ロボッツテキスト（robots.txt）とは？

ロボッツテキスト（robots.txt）とは、ロボット型の検索エンジンのクロールを
制御するためのファイルです。
ファイルをドメイントップと同じ階層に置くことで、検索エンジンはまず最初に
robots.txtをクロールし、ドメイン内のページをどのようにクロールすべきか
判断します。
テキストファイル内には制御内容、制御したい検索エンジン名、サイト内の
どのディレクトリに対し制御を行うかを記述する事で制御が行えます。

▽記述例：指定ディレクトリのクロールを拒否する場合です。

User-agent: 検索エンジン名
Disallow:　ディレクトリ名