ページを検索結果に表示させたくない場合はどうすればよいですか？

現在のクローラーが持っている能力は非常に高いため、サイト内のほとんどのページをクロールすることが可能です。その中にはさほどユーザーにとって役に立つ情報を提供していないページが存在しているケースもよくあると思われますが、そのことが 「内容の薄いページが存在する」としてサイトの評価を下げる恐れが ありますので注意が必要です。このようなことにならないように、 以下のような方法でクローラーのアクセスを制御することができます。

１．robots.txtでファイルやディレクトリへのアクセスを管理する。
robots.txtファイルを使用してクローラーがクロールすべきではないファイルやディレクトリを指定することができます。このファイルを使用する場合は、ドメインのルートにアクセスできる必要があります。

２．noindexメタタグで、コンテンツを検索結果に表示しないようにする。
クローラーが該当するページでnoindexメタタグを検出すると、検索結果からそのページが削除されます。ただし、noindexメタタグを認識するにはページをクロールする必要があるため、クローラーがnoindexメタタグを見落としてしまう場合があります。

３．機密情報をサーバー上に保管する必要がある場合は、パスワードで保護されたディレクトリに保存する。
これによりクローラーがコンテンツにアクセスできなくなりますので、 こちらはコンテンツがインデックスさせるのを防ぐための 最も簡単で効果的な方法になります。

Googleはウェブマスター向け公式ブログにおける「良質なサイトを作る ためのアドバイス」の中で、「低品質なコンテンツがサイトの一部にしか 存在しない場合でも、サイト全体の掲載順位に影響を与えることがある ということにご注意ください。」と述べています。低品質なページが サイト内に存在している場合は、上記の方法を用いてクローラーを制御 するようにしましょう。