Использовано проверок 0 из 0 в суткиУвеличить лимит

Проверка X-Robots-Tag заголовков

Инструмент сообщит, если HTTP-заголовок страницы X-Robots-Tag запрещает ее показ в поисковой выдаче.

Что такое X-Robots-Tag

X-Robots-Tag регламентирует поисковым ботам, какие страницы сайта нужно индексировать, а какие нет. Это серверный заголовок, поэтому для поисковых систем X-Robots-Tag обладает большим приоритетом, чем метатег Robots, который помещают в <head> страницы.

Поисковику не нужно тратить ресурсы на загрузку основного документа, чтобы получить доступ к содержимому заголовка X-Robots-Tag. Это помогает экономить краулинговый бюджет, поэтому веб-мастера чаще используют X-Robots-Tag.

Как используют X-Robots-Tag

Реальные файлы на сервере, к примеру, изображения и документы, закрывают в .htaccess. Динамические страницы, генерируемые любой CMS, можно закрыть только с помощью php.

К примеру, как закрыть pdf-файлы с помощью X-Robots-Tag в .htaccess:

<FilesMatch ".pdf$">

Header set X-Robots-Tag "noindex,nofollow"

</FilesMatch>

Как выглядит X-Robots-Tag на php:

header("X-Robots-Tag: noindex, nofollow");