A única maneira de impedir completamente a raspagem de internet é evitar colocar qualquer conteúdo em um site. No entanto, o uso de uma solução avançada de gerenciamento de bots pode ajudar os sites a eliminarem quase completamente o acesso de bots raspadores
Rastreamento automático é o processo realizado por grandes mecanismos de busca, como o Google, quando enviam para a rede seus crawlers, como o Googlebot, para indexar conteúdo de internet. A raspagem, por outro lado, é de modo geral estruturada especificamente para extrair dados de um determinado site.
Abaixo listamos três práticas que um bot raspador poderá adotar e em que diferem do comportamento de um crawler de internet:
Os bots raspadores fingem ser navegadores de rede, enquanto um crawler indica seu objetivo e não tenta induzir um site a pensar que ele é algo que na verdade não é.