クローラーとは？

検索エンジンのデータベースを作成するために、世界中のWebページの情報を集めるプログラムのことです。スパイダー、検索ロボット、ロボット、ボット等とも呼ばれます。Googleのウェブ検索のクローラーはGooglebotと呼ばれます。

クローラーは、リンクをたどることによってウェブサイトを検出します。また既存のサイトに対する変更や無効なリンクを検出し、その情報に基づいてインデックスを更新します。Googleの場合、ウェブマスターツールを使用することで、クロール中に発生した問題を確認することもできますので、エラー表示があった場合はサイト内で問題が発生していないか確認することをおすすめします。