1327 Знания

Запрещаем индексацию тестовой версии сайта

С помощью robots.txt и не только – свои рекомендации озвучил Google.

В ходе последнего вебинара для сеошников Джон Мюллер рассказал о разных способах закрытия тестового сайта от индексации Гуглботом (см. видео с отметки 42:40):

«Во-первых, классический запрет индексирования тестовой версии ресурса осуществляется с помощью файла robots.txt. Но нужно помнить, что это не самый действенный способ спрятаться от Гуглбота.
Во-вторых, вы должны избавиться от всех возможных ссылок, которые указывают на тестовый сайт. Если мы найдем хотя бы одну такую ссылку, то не факт, что robots.txt вам поможет – мы можем проиндексировать тестовый контент.
В-третьих, вы можете использовать аутентификацию. Это самый эффективный метод. Аутентификация на стороне сервера, с помощью cookies или на основе IP-адреса способна надежно скрыть контент от пользователей и Гуглбота».

Как составить robots.txt самостоятельно – делимся знаниями.

Как запреты в Robots.txt влияют на сканирование сайта
В русской версии PageSpeed нашли ошибки
Google представил отчет по «хлебным крошкам»
Комментарии (7)
Я за аутентификацию, самый проверенный способ
NatTi   28.09.2019 11:31
А как закрыть определенную страницу на сайте?
NatTi   28.09.2019 16:11
ах, да, или картинку? буду признательна если кто знает
Картинку через роботс.тхт User-Agent: * , Disallow: *.и формат картинки, а файл User-agent:* , Disallow: /folder/file.php
Redfoxnat   29.09.2019 12:50
Я ввожу мета-тег Robots и все работает!
Кирилл Петлин   05.10.2019 14:24
Кстати, был у меня печальный опыт! Новый свеженький сайт тестовый специально решил закрыть от индексации robots.txt и тут какая-то произошла ошибка и сайт проиндексировался, вообщем осторожнее с ним.
Natalia88   07.10.2019 16:40
Возможно вы допустили сами ошибку при использовании роботса, тут лучше обращаться к специалисту, у меня все нормально работало

Чтобы оставлять комментарии, вам нужно войти в систему

Авторизоваться