Come funziona un crawler di siti web?
Hoe werkt een website crawler?
Sitecheckerbot controlla diverse versioni della home page e identifica quale di esse ha 200 HTTP status code.
Crawler inizia con la scansione della pagina principale e controlla le regole di robots.txt. Utilizzando i link di ogni pagina, raccoglie tutti gli URL disponibili e li controlla per individuare eventuali problemi. Se non ci sono link interni a una pagina, il crawler non la troverà.
Il parametro Page Weight è calcolato per ogni pagina. Dimostra quanto è forte il succo dei link interni di una specifica pagina.
Sitecheckerbot controleert verschillende versies van de startpagina en stelt vast welke daarvan de 200 HTTP-statuscode heeft.
De crawler begint met het scannen van de hoofdpagina en controleert de robots.txt-regels. Met behulp van links op elke pagina, verzamelt het alle beschikbare URL's en controleert ze op problemen. Als er geen interne links naar een pagina zijn, zal de crawler deze niet vinden.
Page Weight parameter wordt berekend voor elke pagina. Het toont aan hoe sterk de interne link juice van een specifieke pagina is.