Googlebot est le robot d'exploration Web de Google, un logiciel automatisé qui visite systématiquement les pages Web pour collecter des données. Il analyse les sites Web en suivant les liens, en lisant le contenu et en évaluant la structure du site. Une fois qu'une page est explorée, les données sont envoyées aux systèmes d'indexation de Google, où elles sont traitées et, si elles sont jugées utiles et uniques, envisagées pour être incluses dans la recherche Google.
Cependant, le fait qu’une page ait été explorée ne garantit pas qu’elle apparaîtra dans les résultats de recherche. Cette décision est prise lors des phases d'indexation et de classement.