Tutorial: entenda como os Robots e Spiders trabalham para os mecanismos de busca
celsojunior.net » Adsense » Tutorial: entenda como os Robots e Spiders trabalham para os mecanismos de busca
Todo blogueiro que visa um lugarzinho à sombra, seja no Oráculo ou em algum de seus discípulos menos favorecidos, com certeza tem curiosidade para saber como funcionam os robots/spiders que varrem a web em busca de novos dados.
Como sou um curioso-nato, decidi pesquisar "how to create a spider robot for search engines" e imediatamente uma gigantesca lista de assuntos interessantes (e também descartáveis) pularam diante de meus olhos. Mas para um bom leigo nesse assunto, acho que o material encontrado foi bastante produtivo:
– Gerador online de Robots.txt: monte o seu próprio robots.txt de forma simples e rápida sem precisar entender praticamente nada;
– Como otimizar o seu Robots.txt: O Bruno Alves deu a dica e o retorno foi garantido. Saiba como configurar o seu robots.txt de forma que você ganhe várias posições nos mecanismos de busca e, conseqüentemente, também aumente suas visitas;
– Bot Simulator: Nada mais interessante que entender como os Spiders, Crawlers, Bots e User-Agents trabalham. Digite uma URL válida e veja em tempo real como eles administram os links internos, links externos, restrição para nofollow, restrição para robots.txt, URL's externas etc;
Para maiores informações, confira também:
– Spiders na Web;
– Robots.txt na Wikipedia;
– Sitemap: colabore com os mecanismos de busca;
Conheça os melhores hacks para .htaccess e WordPress
Categorias: Adsense, Ajax, Análise, API, Apoio, Apple, Artigos, Beta, Blog, Blogging, Blogosfera, Browser, Desenvolvimento, Dicas, Firefox, Futuro, Google, Internet, Internet Explorer, Leitura, Links, Linux, Live, Mac, Metas, Microsoft, Open Source, Otimização, Protótipo, Segurança, SEO, Sistema Operacional, Software, Tableless, Tecnologia, Tubetorial, Tutoriais, Tutorial, Web, Web 2.0, Webstandards, Widgets