1634 Новости

Как запреты в Robots.txt влияют на сканирование сайта

Общий «краулинговый бюджет» от этого не пострадает.

В кругу сеошников бытует мнение, что чем больше запретов на индексацию страниц сайта прописано в файле Robots.txt, тем реже в итоге поисковый робот посещает такой ресурс. То есть, так называемый «краулинговый бюджет» сайта уменьшается в размерах.

Так ли это на самом деле, попытался выяснить один веб-мастер:

«URl-адреса, которые я запрещаю индексировать в Robots.txt, каким-то образом влияют на совокупный краулинговый бюджет сайта?»

От имени Google однозначно ответил Гари Илш:

«Нет, запрещенные урлы никоим образом не влияют на такого рода бюджет».

Иначе говоря, блокировать индексацию «ненужных» страниц в файле Robots.txt можно смело. Посещать вас реже при этом гуглбот не станет.

Напомним, недавно мы рассказывали, как составить Robots.txt самостоятельно.

Для Google запреты на странице более важны
Google обновил спецификацию файла robots.txt
Google: мы можем индексировать контент даже без его сканирования
Комментарии (0)

Чтобы оставлять комментарии, вам нужно войти в систему

Авторизоваться

К данной записи нельзя добавлять комментарии, т.к. она очень старая.