Sistema de FAQs: Respostas para suas Dúvidas - HostGator - Como usar os robots.txt
#Code to not allow any search engines!User-agent: *Disallow: /
# Blocks robots from specific folders / directoriesUser-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /backup/ No exemplo acima, http://www.seudominio.com.br/backup/index.html poderia ser uma das URLs bloqueadas, mas http://www.seudominio.com.br/index.html e http://www.seudominio.com.br/diretorio/ seriam rastreáveis.
Como explicado abaixo, você deve utilizar as ferramentas de webmaster para Bingbot e Googlebot, uma vez que não respeitem o arquivo robots.txt. Google e Bing
Sobre robots.txt (em inglês) Artigos RelacionadosEmissão de BoletosComo alterar o DNS de seu domínio contratado na HostGatorComo criar contas de e-mailComo mudar a senha da conta de emailComo crio uma lista de correio?