インデクサ(indexer)とは？

クローラーが収集してきたデータを整理し、検索エンジンが持つデータベースにインデックスする役割を持つ仕組みのことを指します。

検索エンジンは高度なアルゴリズムによって、クローラが収集したデータを処理し、スコアリングをしますが、クローラが集めてきた時点のデータは、データがまとまっていないため処理に時間がかかってしまいます。

そこで処理の効率化のため、インデクサがあらかじめページ解析やリンク解析を行い、要素ごとに性質・重要性などを データ化し、検索アルゴリズムがデータを取り扱いやすい形でまとめ直し、データベースにインデックスを行っています。