In onze gids ‘hoger scoren in Google’ beschrijven we uitgebreid de onderwerpen crawlen en indexeren in hoofdstuk 1: hoe werken zoekmachines? Om een lang verhaal kort te maken, de zoekmachines speuren het internet af naar websites en pagina’s. Dit wordt ook wel crawlen genoemd. Het zoeken naar pagina’s en websites wordt gedaan door crawlers/spiders.