Como funciona o Robots.txt InfoNaVeia -
Claro que devemos lembrar que sua utilização não é obrigatória, porém é recomendado por questões de segurança e conteúdo duplicado.
Sua criação não requer um programa muito complexo, basta um simples editor de texto para criá-lo, como o Bloco de Notas do Windows.
Um outro detalhe muito interessante é que tendo um conta no Google Webmasters Tools, você verá os resultados do seu robots.txt ou até mesmo recordar quais diretórios foram adicionados.
Por uma questão padrão o arquivo deve estar localizado na raiz do seu website. Vale destacar também o nome dos principais rastreadores do mercado. Segue a lista dos Rastreadores, separado por buscador:
Googlebot, Googlebot-Mobile, Googlebot-Image, Mediapartners-Google, AdsBot-Google;
Slurp, Yahoo-MMAudVid, Yahoo-MMCrawler;
MSNBot, MSNBot-Media, MSNBot-News;
Vamos ao primeiro exemplo do arquivo:
A linha que contém User-agent, deve definir qual o rastreador você deseja bloquear, quando inserimos o (*) asterisco, dizemos que a regra é para todos os agentes ou digitamos o nome para bloquear para um rastreador especifico, como no exemplo para o msnbot.
A função Disallow determina que o agente não deve rastrear tal diretório, ou seja, que o conteúdo não é relevante ou sem interesse do site para ser indexado. Ao contrário a função Allow diz para o rastreador deve acessar o conteúdo do diretório.
Devo lembrar que o robots.txt não é limitado somente a diretórios, podemos também bloquear o rastreamento para arquivos ou para determinada extensão.
Utilizando da seguinte maneira:
Podemos adicionar o nosso Sitemap.xml, basta adicionar a URL de localização:
Para finalizar uma grande dica!
Todos já devem conhecer o famoso site Internet Archive (http://www.archive.org), ele vem arquivando sites dos anos 90 até os tempos atuais. Caso você não queira seu Website nesse diretório, basta bloquear o seu rastreador no robots.txt, segue o exemplo:
Espero que tenham gostado das dicas de robots.txt, assim seu trabalho com SEO será mais completo e preciso.