1771 Новости

Использование Noindex не оптимизирует процесс сканирования ботом

​Несмотря на то, что ответы на многие SEO-вопросы кажутся предельно очевидными, тем не менее, отдельные веб-мастера продолжают с завидной регулярностью их задавать. Накануне один такой вопрос был адресован нашему старому знакомому Джону Муэллеру.

Некий пользователь Твиттера под ником Идан Бен Ор поинтересовался у официального представителя Google:

«Способен ли мета-тег Noindex «сберечь» бюджет сканирования поисковым роботом Гугл?».

Надо полагать, сей товарищ пытался узнать, сможет ли использование данного тега запретить сканирование одних «ненужных» страниц (там, где тег используется) и, тем самым, увеличить время пребывания Гуглбота на сайте для сканирования «нужных» страниц (там, где тег не используется).

Ответ Джона, как это часто бывает, получился из ряда вон лаконичным – не способен!

Таким образом, известный Гуглмен в очередной раз подтвердил очевидную истину. Использование мета-тега Noindex предотвращает индексацию контента поисковыми роботами, однако это не касается сканирования. Чтобы найти и выполнить сам тег в коде страницы, ее сперва нужно просканировать!

Google напомнил о частоте сканирования ботом
Google о влиянии на индексацию мета-тега noindex после его снятия
Google предлагает избавиться от noindex
Комментарии (8)
Ninoi   04.12.2016 02:25
Ну вобще то данный тег изначально предназначен не для запрета сканирования, а для запрета цитирования в поисковой выдаче. Граблями копать тоже неудобно. :)
Sanjey   04.12.2016 05:19
Разве кто то эти теги еще использует ? все же можно через робот тхт сделать..
Taras_Cherkassky   04.12.2016 07:44
Как видно, используют...
bezborodko1   05.12.2016 10:15
Как пишет в саппорте гугла - роботс не может запретить индексировать те или иные страницы, поисковой бот считает файл роботс.тхт скорее как рекомендацию, нежели как указ.
Ivan_Golovinov   05.12.2016 14:57
Разве кто то еще использует робот тхт? все же НУЖНО через теги сделать..
Откуда вы беретесь такие умники?!
hostifree   04.12.2016 12:35
Данные теги никто не отменял - а значит они актуальны.
brick   05.12.2016 10:22
пользуюсь ноиндекс, иначе как из выдачи убрать допустим номера телефонов клиентосов итп
seoowl   05.12.2016 19:42
Полностью поддерживаю!

Чтобы оставлять комментарии, вам нужно войти в систему

Авторизоваться

К данной записи нельзя добавлять комментарии, т.к. она очень старая.