How does a website crawler work?
Come funziona un crawler di siti web?
Sitecheckerbot checks different versions of the home page and identifies which one of them has the 200 HTTP status code. The crawler starts by scanning the main page and checking the robots.txt rules. Using links on each page, it collects all available URLs and checks them for issues. If there are no internal links to a page, the crawler won’t find it. The Page Weight parameter is calculated for each page. It demonstrates how strong internal link juice a specific page has.
Sitecheckerbot controlla diverse versioni della home page e identifica quale di esse ha 200 HTTP status code.
Crawler inizia con la scansione della pagina principale e controlla le regole di robots.txt. Utilizzando i link di ogni pagina, raccoglie tutti gli URL disponibili e li controlla per individuare eventuali problemi. Se non ci sono link interni a una pagina, il crawler non la troverà.
Il parametro Page Weight è calcolato per ogni pagina. Dimostra quanto è forte il succo dei link interni di una specifica pagina.