Wie funktioniert ein Webseiten-Crawler?
¿Cómo funciona un rastreador de sitios web?
Sitecheckerbot prüft verschiedene Versionen der Homepage und erkennt, welche einen 200 HTTP-Statuscode hat.
Der Crawler beginnt mit dem Scannen der Hauptseite und der Überprüfung der robots.txt Regeln. Er verwendet die Links auf jeder Seite, um alle verfügbaren URLs zu sammeln und sie auf Probleme zu überprüfen. Wenn es keine internen Links zu einer Seite gibt, dann wird der Crawler sie nicht finden.
Das „Seitengewicht“ wird für jede Seite berechnet. Es zeigt an, wie stark der interne „Link Juice“ einer bestimmten Seite ist.
"Sitecheckerbot" comprueba diferentes versiones de la página principal e identifica cuál de ellas tiene el código de estado HTTP 200.
El rastreador comienza escaneando la página principal y comprobando las reglas de robots.txt. Utilizando los enlaces de cada página, recopila todas las URL disponibles y comprueba si hay problemas. Si no hay enlaces internos a una página, el rastreador no la encontrará.
El parámetro Peso de la página se calcula para cada página. Demuestra la fuerza de los enlaces internos que tiene una página específica.