Google: мета-тег noindex гораздо эффективнее команды disallow

​В ходе очередного вебинара Google для владельцев сайтов обсуждали, как лучше всего закрыть контент от индексации поисковой системой.

В частности, один из веб-мастеров поинтересовался у Джона Мюллера, будет ли достаточно для этой цели использовать команду disallow в файле robots.txt?

Ответ официального представителя Google оказался довольно обширным:

«Необходимо понимать одну простую вещь. Блокировка страниц в robots.txt не дает полной гарантии. Может случиться так, что на заблокированные таким образом страницы с других сайтов кто-то будет ссылаться. В этом случае для нас факт внешней ссылки приоритетен. Следовательно, вполне возможен вариант, когда мы, перейдя по такой ссылке, проиндексируем страницу, которую вы якобы закрыли в файле robots.txt. И если эта страница, скажем, пустая (некачественная), то это не пойдет на пользу сайту.
Учитывая сказанное, я бы рекомендовал использовать мета-тег noindex вместо команды disallow. Перейдя по внешней ссылке и обнаружив указанный тег, Google не станет индексировать ее содержимое. Страница будет навсегда исключена из поискового индекса. Пока noindex не будет отменен».

Вопрос и ответ на него в оригинале можно прослушать на видео, начиная с отметки 24:36.

Напомним, ранее Джон Мюллер заявлял, что Google не наказывает сайты за грамматические ошибки на их страницах.

Комментарии (3)
Здесь был комментарий, который удалил модератор.
  07.06.2018 09:50
Судя по Вашему предложению сразу понимаю, что действительно качественный !!!!
В сети много информации по поводу того что noindex и nofollow для скрытия ссылок уже не действуют. Рекомендации идут на span через скрипт. Насколько это оправдано?
К данной записи нельзя добавлять комментарии т.к. она очень старая.