ロボットとは?

ロボットとは、Googleなどに代表されるロボット型検索エンジンのホームページを巡回するプログラムのことを指し、ボット、クローラー、スパイダーとも呼ばれる。

このロボットは世界中のWebサーバーと通信し、そのサーバー内のコンテンツを自動で取得をする。

この検索ロボットにサイトを回収されたくない場合には、拒否することを明記したメタタグなどを記述する必要がある。

このページの先頭へ戻る