Удалить страницу из результатов поиска может быть нужно по разным причинам — неактуальная информация, обновление контента, случайное дублирование или мертвая страница-зомби, которая не приносит пользы бизнесу.
Для того, чтобы страница не отображалась в результатах выдачи, есть несколько способов:
Удалить полностью и прописать Disallow в файле robots.txt;
Закрыть от индексирования с помощью noindex;
Закрыть доступ к ней паролем;
Настроить редирект на другую страницу, если это уместно;
Настроить код ответа сервера 404, 403 или 410.
При этом у Google и Яндекса есть свои рекомендации для удаления страницы из поиска и механизмы немного отличаются. Рассмотрим подробнее, что советуют поисковики, и какие у них есть инструменты для этого.
Как удалить страницу из Google
У Google есть специальный инструмент для удаления страницы или отдельного изображения из выдачи.
Обратите внимание, что этот способ действует до шести месяцев, потом страница, если не удалить с сайта совсем, опять появится результатах.
При этом поисковый робот все равно сможет сканировать страницу, если она не будет скрыта другим способом.
В каких случаях использовать инструмент:
Чтобы страница перестала показываться в поиске;
После удаления неактуальной информации со страницы — чтобы изменения отразились в результатах выдачи.
В каких случаях он не работает:
Если сайт принадлежит не вам и у вас нет доступа к нему через Search Console;
Для страниц 404 — поисковый бот самостоятельно определит, что страницы не существует, и постепенно исключит их из поиска;
Для устранения ошибок сканирования — инструмент удаляет страницы из выдачи, а не из Search Console;
После санкций — если вы исправили ошибки, которые привели к санкциям, не надо удалять страницы из поиска, запросите повторную проверку;
После взлома сайта и нарушения его работы — Google советует не блокировать все страницы сразу, а удалить вредоносный код или нежелательный контент. Подробнее о том, что делать в случае взлома, описано в справке;
Для отображения определенной версии страницы — этот способ удалит все страницы из выдачи, а не только неканонические. Чтобы в поиск попадала каноническая версия, укажите ее в коде страниц.
Статья по теме: Все о rel canonical: как указывать атрибут правильно и зачем он нужен
Итак, чтобы убрать страницу из поиска, в левом меню Search Console выберите раздел «Индексирование», далее «Удаления». Нажмите «Создать запрос».
В запросе есть две опции — удаление URL и удаление кешированной копии страницы. Обе опции работают только для одного адреса страницы. Если она доступна по разным адресам или есть варианты их написания с разными регистрами, для каждого нужно будет сделать отдельный запрос.
Удаление одного или нескольких URL
Для удаления URL нужно будет выбрать один из вариантов:
Только указанный URL;
Все URL с указанным префиксом. Например, https://pr-cy.ru/news/. Обратите внимание, что из поиска будут удалены страницы с www и без, c HTTP и HTTPS, но это не распространяется на поддомены, например, m. для мобильной версии сайта.
Удаление кешированной копии страницы
В этом случае из поиска пропадет текущее описание страницы, а новое появится после очередного сканирования. Обратите внимание, что нужно ввести полный адрес страницы, включая расширение: www.site.com/cat/page.html
Аналогично предыдущей опции, можно удалить кешированные копии всех страниц определенного раздела сайта, указав префикс.
После создания запроса он появится в списке раздела «Удаления». Для обработки может понадобиться до суток. Если передумали, запрос можно отменить в любое время.
Удаление страницы из поиска Google навсегда
Инструмент для исключения страниц из выдачи работает временно, поэтому для полного удаления нужно еще несколько действий.
Удалите страницу через админку сайта. Таким образом, когда поисковый бот через несколько месяцев будет сканировать сайт, он обнаружит код ответа 404 или 410 и признает страницу удаленной;
Закройте доступ к странице, например, с помощью пароля;
Запретите сканирование через noindex. В этом случае страница не должна быть закрыта в файле robots.txt, потому что в таком случае поисковый бот не сможет обработать код страницы и найти запрет на ее индексирование.
Как удалить страницу из выдачи Яндекса
У Яндекса не такой, как у Google. Поисковик рекомендует сначала удалить страницу или закрыть от индексации, а потом воспользоваться инструментом для удаления страниц из поиска. Есть два варианта действий, выбор зависит от того, удалили вы страницу с сайта или просто хотите закрыть от поискового бота.
При удалении страницы с сайта
1. В файле robots.txt закройте страницу с помощью директивы Disallow. Это первый шаг, потому что при обходе сайта робот сначала обращается к файлу robots.txt. Как это выглядит:
User-agent: Yandex
Disallow: /page? # запрещает обход страниц с указанным URL
2. Настройте код ответа сервера 404, 403 или 410. Если нужно перенаправить пользователей на другую страницу, установите 301 редирект.
Статья по теме: Как настроить редирект самостоятельно
При удалении страницы из выдачи
1. На странице в метатеге robots укажите директиву noindex. Не закрывайте страницу в файле robots.txt, чтобы поисковый робот смог найти ваши указания.
Статья по теме: Метатеги robots и X-Robots для управления индексацией страниц вручную
2. Настройте код ответа сервера 404, 403 или 410.
В обоих случаях страница исчезнет из выдачи примерно через неделю. Страница, которую не удалили, но закрыли от робота, может появляться в выдаче, если на нее ссылаются другие страницы.
Список исключенных из индекса страниц можно найти в Вебмастере в разделе «Издексирование» — «Страницы в поиске». Кликните на вкладку «Исключенные страницы», там вы увидите дату последнего посещения страницы роботом, URL и причину удаления страницы: редирект, запрет индексирования, код ответа 404.
Инструмент для удаления страниц из поиска
Чтобы ускорить удаление страницы, используйте специальный инструмент. В Вебмастере перейдите в «Инструменты» — «Удаление страниц из поиска».
Можно удалить одну страницу или целый раздел — по префиксу.
Введите URL или путь и нажмите «Удалить».
В сутки можно удалить не более 500 страниц.
Ниже в том же разделе находится список заявок на удаление.
Каждой из них присваивается статус:
«В очереди на удаление»;
«В процессе»;
«Удалена»;
«Отклонено».
Чтобы вернуть страницу в выдачу, уберите из robots.txt директиву Disallow или метатег noindex в коде. Страница вернется в поиск в течение трех недель.
