Googlebotとは？

Googlebot とは、Google のウェブ クロール用ロボットです（「スパイダー」と呼ばれる場合もあります）。
クロールは、Googlebot が Google のインデックスに追加する、新しいページや更新されたページを検出するプロセスです。
robots.txt を使用してサーバー上のファイルやディレクトリへのアクセスをブロックすることで、Googlebot によるサイト コンテンツのクロールをブロックすることも可能です。