Googlebot, Google'ın web tarama botudur; veri toplamak için web sayfalarını sistematik olarak ziyaret eden otomatik bir yazılımdır. Bağlantıları takip ederek, içeriği okuyarak ve site yapısını değerlendirerek web sitelerini tarar. Bir sayfa tarandıktan sonra veriler Google'ın indeksleme sistemlerine gönderilir, burada işlenir ve yararlı ve benzersiz görülmesi halinde Google Arama'ya eklenmek üzere değerlendirilir.
Ancak bir sayfanın taranmış olması onun arama sonuçlarında görüneceğini garanti etmez. Bu karar indeksleme ve sıralama aşamalarında verilir.
