2264 Новости

Как запреты в Robots.txt влияют на сканирование сайта

Общий «краулинговый бюджет» от этого не пострадает.

В кругу сеошников бытует мнение, что чем больше запретов на индексацию страниц сайта прописано в файле Robots.txt, тем реже в итоге поисковый робот посещает такой ресурс. То есть, так называемый «краулинговый бюджет» сайта уменьшается в размерах.

Так ли это на самом деле, попытался выяснить один веб-мастер:

«URl-адреса, которые я запрещаю индексировать в Robots.txt, каким-то образом влияют на совокупный краулинговый бюджет сайта?»

От имени Google однозначно ответил Гари Илш:

«Нет, запрещенные урлы никоим образом не влияют на такого рода бюджет».

Иначе говоря, блокировать индексацию «ненужных» страниц в файле Robots.txt можно смело. Посещать вас реже при этом гуглбот не станет.

Напомним, недавно мы рассказывали, как составить Robots.txt самостоятельно.


Комментарии (0)

Чтобы оставлять комментарии, вам нужно войти в систему

Авторизоваться

К данной записи нельзя добавлять комментарии, т.к. она очень старая.
Мета теги страниц сайта: title, description, keywords, robots и другие
Спроси PR-CY#15: Siteclinic отвечает на вопросы по SEO
Чем вредят сайту битые ссылки? Поиск ссылок и способы их исправить