1908 Новости

Как запреты в Robots.txt влияют на сканирование сайта

Общий «краулинговый бюджет» от этого не пострадает.

В кругу сеошников бытует мнение, что чем больше запретов на индексацию страниц сайта прописано в файле Robots.txt, тем реже в итоге поисковый робот посещает такой ресурс. То есть, так называемый «краулинговый бюджет» сайта уменьшается в размерах.

Так ли это на самом деле, попытался выяснить один веб-мастер:

«URl-адреса, которые я запрещаю индексировать в Robots.txt, каким-то образом влияют на совокупный краулинговый бюджет сайта?»

От имени Google однозначно ответил Гари Илш:

«Нет, запрещенные урлы никоим образом не влияют на такого рода бюджет».

Иначе говоря, блокировать индексацию «ненужных» страниц в файле Robots.txt можно смело. Посещать вас реже при этом гуглбот не станет.

Напомним, недавно мы рассказывали, как составить Robots.txt самостоятельно.

Google обновил спецификацию файла robots.txt
Google: мы можем индексировать контент даже без его сканирования
Запрещаем индексацию тестовой версии сайта
Комментарии (0)

Чтобы оставлять комментарии, вам нужно войти в систему

Авторизоваться

К данной записи нельзя добавлять комментарии, т.к. она очень старая.