В ходе последнего вебинара для сеошников Джон Мюллер рассказал о разных способах закрытия тестового сайта от индексации Гуглботом (см. видео с отметки 42:40):
«Во-первых, классический запрет индексирования тестовой версии ресурса осуществляется с помощью файла robots.txt. Но нужно помнить, что это не самый действенный способ спрятаться от Гуглбота.
Во-вторых, вы должны избавиться от всех возможных ссылок, которые указывают на тестовый сайт. Если мы найдем хотя бы одну такую ссылку, то не факт, что robots.txt вам поможет – мы можем проиндексировать тестовый контент.
В-третьих, вы можете использовать аутентификацию. Это самый эффективный метод. Аутентификация на стороне сервера, с помощью cookies или на основе IP-адреса способна надежно скрыть контент от пользователей и Гуглбота».
Как составить robots.txt самостоятельно – делимся знаниями.
