Para gerenciar o uso de dados estruturados nas suas páginas da Web, modifique os tipos de dados estruturados e valores propriamente ditos, adicionando ou removendo informações a fim de fornecer somente o conteúdo que deve ser disponibilizado. Os dados estruturados ainda podem ser usados para resultados da pesquisa quando declarados em um elemento data-nosnippet.
Você pode adicionar o X-Robots-Tag às respostas HTTP de um site por meio dos arquivos de configuração do software do servidor da Web do seu site. Por exemplo, em servidores da Web baseados em Apache, você pode usar arquivos .htaccess e httpd.conf. A vantagem de usar um X-Robots-Tag com respostas HTTP é que isso possibilita especificar diretivas de rastreamento que são aplicadas globalmente em um site. O suporte a expressões regulares possibilita um alto grau de flexibilidade.
Use X-Robots-Tag para arquivos não HTML, como arquivos de imagem, em que o uso de metatags robots em HTML não é possível. Veja um exemplo de adição de uma diretiva noindex X-Robots-Tag para arquivos de imagens (.png, .jpeg, .jpg, .gif) em todo o site:
As metatags robots e os cabeçalhos HTTP X-Robots-Tag são detectados quando um URL é rastreado. Se uma página não tiver permissão para rastrear o arquivo robots.txt, então quaisquer informações sobre diretivas de indexação ou exibição não serão encontradas e serão, portanto, ignoradas. Se as diretivas de indexação ou exibição precisarem ser seguidas, os URLs com essas diretivas não poderão ter o rastreamento proibido.