13/08/2017 às 20:26
Muitas pessoas têm grande curiosidade para saber como funcionam as pesquisas nos sites de buscas como Google, Yahoo entre outros. E sequer imagina que por trás desta engenharia computacional está presente a Matemática Computacional composta por cálculos algoritmos, equação, divisão e porcentagem. Na internet, robots, ou robôs, são aplicativos que percorrem a internet em busca de conteúdo com o objetivo de indexar ou verificar alterações ocorridas desde a última "visita" (Saiba como funcionam os sites de busca,). Robots também são conhecidos como "indexadores", "bots" ou "crawlers". Muito conhecidos como SEO, ou Marketing Digital. Os robots do Google são chamados de Googlebot, os robots do Bing de Bingbot, os robots do Yahoo de Yahoobot ou Yahoo! Slurp. Seguindo links de páginas, eles permitem aos sites de busca varrerem a internet para armazenar o conteúdo encontrado pelo caminho.
Por exemplo, o título do meu artigo é: Como a Matemática está presente nos sites de buscas? Veja que ao fazer uma busca no Google os "indexadores", "bots" ou "crawlers". Googlebot, vai buscar por essas informações: >https://www.google.com.br/search?site=&source=hp&q=Como+a+Matemática+está+presente+nos+sit... Observe que para cada palavra existe um algoritmo projetado para encontrar um item com propriedades especificadas em uma coleção de itens. Os itens podem ser armazenadas individualmente, como registros em um banco de dados. Ou seja o conteúdo que estou pesquisando deve está armazenado em um site ou blog, indexado para quando o algoritmo fazer o bot ou bingbot encontrar e a soma: COMO + A + MATEMÁTICA + ESTÁ + ESTÁ + PRESENTE+ NOS +SITES+DE+BUSCAS. Na internet, robots, ou robôs, usam soma e porcentagem nas buscas de conteúdo pesquisado.
A maioria dos algoritmos estudados por cientistas da computação são algoritmos de busca.
Algoritmos para a busca de espaços virtuais são usados em problema de satisfação de restrição, onde o objetivo é encontrar um conjunto de atribuições de valores para certas variáveis que irão satisfazer específicas equações e inequações matemáticas. Eles também são utilizados quando o objetivo é encontrar uma atribuição de variável que irá maximizar ou minimizar uma determinada função dessas variáveis. Algoritmos para estes problemas incluem a base de busca por força bruta (também chamado de "ingênua" ou busca "desinformada"), e uma variedade de heurísticas que tentam explorar o conhecimento parcial sobre a estrutura do espaço, como relaxamento linear, geração de restrição, e propagação de restrições.
Nem todo o conteúdo de um site deve ser indexado pelos robots. Páginas de login, páginas repetidas e páginas de impressão são alguns exemplos. Existem algumas formas para impedir que o seu site seja visitado pelo Googlebot. Um deles é por meio do arquivo "robots.txt". Temos neste tutorial, uma página dedicada ao robots.txt. Uma outra forma de controlar o acesso do Googlebot no site é pela Meta Tag "robots"
Os algoritmos dos mecanismos de buscas e, em outros, me aprofundar mais. Desejo muito passar para o leitor informações que venham desmistificar o significado desse vocábulo em informática e, de certo modo, desvendar um paradoxo. De um lado, se um otimizador de sites conhece bem os algorítmos dos mecanismos de busca, otimizará bem os sites e isso é bom para os próprios mecanismos de busca. Por outro lado, seria de se esperar que os mecanismos de busca tornassem público seus próprios algorítmos, já que seriam beneficiados; mas isso não acontece.
Vamos imaginar que você vai dividir 625 por 5. A operação segue determinadas regras e raciocínios lógicos para chegar ao resultado de 125, não é? Essas regras e raciocínios são o algoritmo da divisão. Imagine agora que você vai extrair a raiz quadrada de 625. A operação segue outras regras e outros raciocínios lógicos para chegar ao resultado de 25, não é? Essas regras e raciocínios lógicos são o algoritmo da raiz quadrada. Temos regras e raciocínios lógicos, etapas e o resultado final em um algoritmo.
Algoritmo na Internet – Imaginemos agora uma página da internet.
Com o aparecimento do Google, ordenando todas as páginas de um site e não apenas a home, aplicando o conceito de popularidade do link no algoritmo, dando um valor menor à URL, excluindo a análise humana, foi um acontecimento extraordinário. E como esse mecanismo de busca continuou evoluindo e inovando, tornou-se o mais popular do mundo. A busca pelo aprimoramento, levada a cabo pelo Google e pelos outros mecanismos de busca, resultou na introdução de mais regras. Essas regras mudam continuamente e podem variar de um país para outro.
Filtros – Você provavelmente já viu essa palavra vinculada ao posicionamento de páginas da Web. Um filtro nada mais é do que uma regra. Uma regra é um fator de ranqueamento. Um engenheiro do Google já disse que o algoritmo desse mecanismo de busca usa mais de cem filtros (regras). Filtro é também chamado de variável de ranqueamento ou do algoritmo, assim como fator de ranqueamento ou do algoritmo. Cada filtro tem uma forma de cálculo, de modo a entrar numa equação matemática final, que dará o resultado final, ou seja, o posicionamento de uma dada página.
Um filtro pode ser simples ou complexo. Por exemplo, o filtro da URL pode ser simples, ou seja, composto de poucas variações. Por outro lado, um filtro como o da popularidade do link é complexo. Atribui-se valores aos links que entram, aos links que saem, à popularidade do link que entra; os valores da popularidade precisam ser distribuídos entre as páginas do site, e assim por diante, para se chegar a um número que entrará no algoritmo. Portanto, são necessários vários e complexos cálculos para se determinar a popularidade de uma página da web.
Cada filtro é, na verdade, um subalgoritmo. O ordenamento de uma página será um número resultante do algoritmo, o qual, por sua vez, é composto de subalgoritmos.
Um filtro pode determinar também a exclusão da página. Por exemplo, o Google e outros mecanismos de busca, depois de aceitar a censura da China para entrar naquele mercado, devem estar incluindo algo assim: o equivalente a "praça da Paz Celestial" ou "praça" ou "Paz Celestial" associado a isso e aquilo, resulta em bloqueio. Então, a página que contiver essas condições não será exibida.
Todo mundo é beneficiado pelo uso adequado do algoritmo, mas os mecanismos de busca não tornam público os seus próprios. A explicação para esse paradoxo é que se trata de um segredo comercial. Desenvolver um subalgoritmo é trabalho muito complexo. E quanto mais se investe na pesquisa dele mais aprimorado ele fica. Não teria sentido uma empresa como o Google, Yahoo, Bing, stc. dar essas informações para os concorrentes copiarem sem gastar dinheiro. Aliás não se divulga nem mesmo os nomes das variáveis usadas. Nós temos conhecimento delas e podemos dizer que são cerca de duzentas no Google, como produto da experiência e intercâmbio entre os otimiza dores, os quais informam a dientificação de alguma variável nova que, uma vez comprovada por outros, passa a ser aplicada nas a otimizações.