In che modo un motore di ricerca decide quale URL indicizzare o meno?
Hoe bepaalt een zoekmachine welke URL wel of niet geïndexeerd moet worden?
Puoi istruire i crawler dei motori di ricerca utilizzando rel=canonical per consentire loro di includere o meno la pagina Web nell'indice. Puoi anche creare queste istruzioni tramite il meta tag Robots nella sezione dell'intestazione delle pagine HTML href o l'X-Robots-Tag nell'intestazione HTTP.
U kunt crawlers van zoekmachines instrueren met behulp van de rel=canonical om hen toe te staan de webpagina al dan niet in de index op te nemen. Je kunt deze instructies ook maken via de Robots-metatag in de hoofdsectie van je href HTML-pagina's of de X-Robots-Tag in de HTTP-header.