Проверка X-Robots-Tag

Инструмент сообщит, если HTTP-заголовок страницы X-Robots-Tag запрещает её показ в поисковой выдаче.

Что такое X-Robots-Tag

X-Robots-Tag регламентирует поисковым ботам, какие страницы сайта нужно индексировать, а какие нет. Это серверный заголовок, поэтому для поисковых систем X-Robots-Tag обладает большим приоритетом, чем метатег Robots, который помещают в <head> страницы.

Поисковику не нужно тратить ресурсы на загрузку основного документа, чтобы получить доступ к содержимому заголовка X-Robots-Tag. Это помогает экономить краулинговый бюджет, поэтому веб-мастера чаще используют X-Robots-Tag.

Как используют X-Robots-Tag

Реальные файлы на сервере, к примеру, изображения и документы, закрывают в .htaccess. Динамические страницы, генерируемые любой CMS, можно закрыть только с помощью php.

Как выглядит X-Robots-Tag на php:

header("X-Robots-Tag: noindex, nofollow");