Robots.txt - Utilizando o arquivo robots.txt - Portal St MarketingSEOInbound MarketingLinks PatrocinadosMídias SociaisMarketing de ConteúdoMais CategoriasMédicos e ClínicasDesenvolvimentoEmail MarketingEstudos de CasoEventosGoogle AnalyticsMobile MarketingNegócios e Vendas	SEORobots.txt – Utilizando o arquivo robotsEduardo Storini2 de junho de 2016, 07:0028 de maio de 2016 0 332	shares O robots.txt é basicamente um arquivo de texto que fica na raiz do servidor e serve como uma lista de diretrizes para rastreadores que seguem seu protocolo informando o que eles podem e não podem rastrearVeja como exemplo nosso robots.txt: http://wsidm.com.br/robots.txtQuando utilizar o robots.txtMinha recomendação é que todo o site contenha o robots.txt em seu servidor, ele é um dos primeiros arquivos que o crawler do Google verifica ao acessar seu site, e nele como veremos a seguir podemos incluir informação importante como o sitemap do nosso site que é uma forma muito produtiva de informar aos buscadores todas as páginas que se encontram em nosso site.O que podemos fazer com robots.txtO arquivo robots.txt contém algumas diretrizes que podemos utilizar para controlar o fluxo de acesso dos rastreadores que podem acessar seu site. Com ele podemos:Definir o que cada user-agent (rastreador) pode fazer em seu sitePermitir ou excluir diretóriosPodemos utilizar máscaras para determinar padrões de diretórios e até mesmo especificar tipos de arquivos.Informar o local do sitemap XMLDiretrizes do Robots.txtComando Disallow:Este comando serve para negar o acesso do rastreador aos diretórios e arquivos do seu servidorDisallow: /cat -> Evita que seja rastreado qualquer url que comece com /cat
Disallow: /cat/post.htm -> Evita que apenas o post.htm seja indexado.Comando AllowEste comando informa qual diretório ou arquivo o crawler poderá indexar.Disallow: /cat/ -> Evita que todo conteúdo dentro do diretório seja indexado.
Allow: /cat/post.htm -> Permite que apenas o arquivo post.htm seja indexado dentro do diretório que foi anteriormente bloqueado.Comando User-agentCom este comando você pode informar instruções específicas para cada rastreador, a lista de rastreadores mais populares você pode encontrar logo abaixo:Principais User-Agent dos buscadoresBaiduspider – Buscador Baidu
YandexBot – Buscador YandexOutros buscadoresEssa listagem foi extraída do site: http://www.useragentstring.com/pages/useragentstring.php008
ZyBorgPara indicar uma diretriz para todos os crawlers, basta utilizar:User-agent: *Comando SitemapGeralmente incluímos esta linha por último no robots.txt, ela serve para informar o caminho onde se encontra o sitemap.xml do site.Sitemap: http://wsidm.com.br/sitemap_index.xmlCuidados com o robots.txtO robots.txt precisa se encontrar na raiz do domínio, senão ele não será detectado pelos rastreadores.Cuidado com letras minúsculas e maiúsculas Pagina.html e pagina.html são diretrizes diferentes.As diretrizes do robots.txt evita apenas que os buscadores indexem seu conteúdo, cuidado com os diretórios adicionados neste arquivo, já que qualquer usuário pode visualizar. Por isso, locais que não devam ser acessados precisam ter seu acesso restrinjido utilizando outras maneiras.Não bloqueie o acesso do Google aos arquivos Javascript e CSSMeu conselho final é que tenha bastante cuidado com a utilização do robots.txt e com as pessoas que tem acesso a este arquivo, pois ele pode simplesmente do dia para noite reduzir o seu tráfego orgânico a zero.shares SEO