Googlebot ist der Web-Crawling-Bot von Google – eine automatisierte Software, die Webseiten systematisch besucht, um Daten zu sammeln. Es scannt Websites, indem es Links folgt, Inhalte liest und die Site-Struktur bewertet. Sobald eine Seite gecrawlt ist, werden die Daten an die Indexierungssysteme von Google gesendet, wo sie verarbeitet und, sofern sie als nützlich und einzigartig erachtet werden, für die Aufnahme in die Google-Suche in Betracht gezogen werden.
Nur weil eine Seite gecrawlt wurde, ist dies jedoch keine Garantie dafür, dass sie in den Suchergebnissen angezeigt wird. Diese Entscheidung wird während der Indexierungs- und Ranking-Phase getroffen.