Hoe bepaalt een zoekmachine welke URL wel of niet geïndexeerd moet worden?
Como um mecanismo de pesquisa decide qual URL indexar ou não indexar?
U kunt crawlers van zoekmachines instrueren met behulp van de rel=canonical om hen toe te staan de webpagina al dan niet in de index op te nemen. Je kunt deze instructies ook maken via de Robots-metatag in de hoofdsectie van je href HTML-pagina's of de X-Robots-Tag in de HTTP-header.
Você pode instruir os rastreadores de mecanismos de pesquisa usando o rel=canonical para permitir que eles incluam a página da Web no índice ou não. Você também pode criar essas instruções por meio da metatag Robots na seção de cabeçalho das páginas HTML href ou da X-Robots-Tag no cabeçalho HTTP.