How does a Search Engine decide which URL to index or not index?
Comment un moteur de recherche décide-t-il quelle URL indexer ou non?
You can instruct search engine crawlers using the rel=canonical to allow them to include the webpage in the index or not. You can also create these instructions via the Robots meta tag in your href HTML pages section or the X-Robots-Tag in the HTTP header.
Vous pouvez demander aux robots des moteurs de recherche d'utiliser rel=canonical pour leur permettre d'inclure ou non la page Web dans l'index. Vous pouvez également créer ces instructions via la balise méta Robots dans la section d'en-tête de vos pages HTML href ou le X-Robots-Tag dans l'en-tête HTTP.