Hoe werkt een website crawler?
Jak działa robot internetowy?
Sitecheckerbot controleert verschillende versies van de startpagina en stelt vast welke daarvan de 200 HTTP-statuscode heeft.
De crawler begint met het scannen van de hoofdpagina en controleert de robots.txt-regels. Met behulp van links op elke pagina, verzamelt het alle beschikbare URL's en controleert ze op problemen. Als er geen interne links naar een pagina zijn, zal de crawler deze niet vinden.
Page Weight parameter wordt berekend voor elke pagina. Het toont aan hoe sterk de interne link juice van een specifieke pagina is.
Sitecheckerbot sprawdza różne wersje strony domowej, a następnie identyfikuje, która z nich ma kod 200 statusu HTTP.
Robot zaczyna od skanowania strony głównej i sprawdzenia zasad robot.txt. Wykorzystując linki z każdej strony, zbiera wszystkie dostępne adresy URL i testuje je pod kątem błędów. Jeśli na stronie nie ma żadnych linków wewnętrznych, robot nic nie odnajdzie.
Obliczany jest parametr Waga Strony dla każdej ze stron. Ten wskaźnik demonstruje, jak silne linki wewnętrzne posiada określona strona.