Hoe werkt een website crawler?
Como funciona um rastreador de websites?
Sitecheckerbot controleert verschillende versies van de startpagina en stelt vast welke daarvan de 200 HTTP-statuscode heeft.
De crawler begint met het scannen van de hoofdpagina en controleert de robots.txt-regels. Met behulp van links op elke pagina, verzamelt het alle beschikbare URL's en controleert ze op problemen. Als er geen interne links naar een pagina zijn, zal de crawler deze niet vinden.
Page Weight parameter wordt berekend voor elke pagina. Het toont aan hoe sterk de interne link juice van een specifieke pagina is.
O Sitecheckerbot verifica diferentes versões da página inicial e identifica qual delas tem um código de estado 200 HTTP.
O rastreador começa a fazer a análise da página principal e a analizar as regras robôs .txt. Utilizando links em cada página, recolhe todos os URLs disponíveis e verifica se há problemas neles. Se não houver links internos para uma página, o avaliador não a encontrará.
É calculado o parâmetro de Peso da Página de cada página. Ele demonstra o quão forte é o poder de link interno duma determinada página.