„Der Crawler hat die Aufgabe, aktualisierte und neue Inhalte zu ''crawlen'' und zu indexieren. Der Suchmaschinengigant aus Kalifornien braucht dazu eine große Zahl an Rechnern. Jeden Tag laufen algorithmische Prozesse im World Wide Web ab, die unzählige Websites indexieren.“<ref>{{Internetquelle|url=https://kundenwachstum.de/googlebot/|titel=Googlebot, Kundenwachstum.de|zugriff=2020-05-30}}</ref>
{{K|Internet}} mithilfe eines [[Computerprogramm]]s [[Internetseiten]] automatisiert abrufen und verarbeiten