Некий пользователь Твиттера под ником Идан Бен Ор
поинтересовался у официального представителя Google:
«Способен ли мета-тег Noindex «сберечь» бюджет сканирования поисковым роботом Гугл?».
Надо полагать, сей товарищ пытался узнать, сможет ли использование данного тега запретить сканирование одних «ненужных» страниц (там, где тег используется) и, тем самым, увеличить время пребывания Гуглбота на сайте для сканирования «нужных» страниц (там, где тег не используется).
@idanbenor nope.
— John ☆.o(≧▽≦)o.☆ (@JohnMu) 30 ноября 2016 г.
Ответ Джона, как это часто бывает, получился из ряда вон лаконичным – не способен!
Таким образом, известный Гуглмен в очередной раз подтвердил очевидную истину. Использование мета-тега Noindex предотвращает индексацию контента поисковыми роботами, однако это не касается сканирования. Чтобы найти и выполнить сам тег в коде страницы, ее сперва нужно просканировать!
