Как удалить страницу из выдачи Яндекса и Google

Краткое саммари

В этой инструкции мы разберем, как удалить страницу из выдачи Яндекса и Google, когда имеет смысл скрывать URL временно, а когда лучше удалить его навсегда вместе с кешем и ссылками, которые ведут на устаревший или проблемный контент.

Мы собрали актуальные рекомендации Google Search Console и Яндекс Вебмастера, добавили примеры настройки кодов ответа, robots.txt и noindex, а также рассмотрели, как запросить удаление результатов поиска по персональным данным по праву на забвение.

Кому стоит прочитать эту статью:

• SEO-специалистам и маркетологам, которые управляют деиндексацией и чистят выдачу от дублей, зомби-страниц и неактуальных разделов.

• Владельцам сайтов и контент-проектов, которым нужно убрать из поиска старые страницы, неактуальные услуги или материалы.

• Юристам и владельцам бизнеса, которые хотят скрыть из выдачи Яндекса и Google ссылки с персональными данными или устаревшей информацией о человеке.

Удалить страницу из результатов поиска может быть нужно по разным причинам — неактуальная информация, обновление контента, случайное дублирование или мертвая страница-зомби, которая не приносит пользы бизнесу.

Чтобы страница перестала отображаться в результатах выдачи, есть несколько базовых способов удаления и деиндексации:

• Удалить страницу и настроить корректный код ответа 404 или 410, а при необходимости запретить повторную индексацию в robots.txt для технических URL.

• Закрыть страницу от индексирования с помощью метатега robots с директивой noindex или HTTP-заголовка X-Robots-Tag.

• Закрыть доступ к ней паролем или ограничить доступ по IP, если контент должен быть полностью недоступен пользователям.

• Настроить 301 редирект на другую релевантную страницу, если вы заменяете старый материал новым.

• Использовать временное скрытие URL и очистку кеша в Google Search Console и инструменты удаления страниц в Яндекс Вебмастере.

При этом у Google и Яндекса есть свои рекомендации для удаления страницы из поиска, а механика временного и постоянного удаления отличается. Ниже разберем, как удалить страницу из поиска Google и Яндекса и не потерять нужный трафик.

Перед тем как массово удалять страницы из выдачи Яндекса и Google, полезно найти зомби-страницы, дубли и старые разделы через аудит сайта. Это можно сделать, например, в сервисе анализа сайта PR-CY, а затем уже принимать решения о деиндексации и редиректах.

Как удалить страницу из Google: удаление URL из поиска и кеша

У Google есть специальный инструмент удаления URL в Search Console, который позволяет временно скрыть страницу или отдельное изображение из выдачи и очистить кешированную копию.

Инструмент «Удаления» в Google Search Console работает как временная мера: URL скрывается примерно на шесть месяцев. Если за это время вы не удалите страницу с сайта или не настроите коды 404/410 и noindex, она может снова появиться в результатах поиска.

При этом поисковый робот продолжает сканировать страницу, если вы не закрыли ее другими способами, поэтому одних только запросов на удаление через Search Console недостаточно для постоянного удаления из индекса.

В каких случаях использовать инструмент «Удаления» в Google Search Console:

• Чтобы страница перестала показываться в поиске;

• После удаления неактуальной информации со страницы — чтобы изменения отразились в результатах выдачи.

В каких случаях он не работает:

• Если сайт принадлежит не вам и у вас нет доступа к нему через Search Console;

• Для страниц 404 — поисковый бот самостоятельно определит, что страницы не существует, и постепенно исключит их из поиска;

• Для устранения ошибок сканирования — инструмент удаляет страницы из выдачи, а не из Search Console;

• После санкций — если вы исправили ошибки, которые привели к санкциям, не надо удалять страницы из поиска, запросите повторную проверку;

• После взлома сайта и нарушения его работы — Google советует не блокировать все страницы сразу, а удалить вредоносный код или нежелательный контент. Подробнее о том, что делать в случае взлома, описано в справке;

• Для отображения определенной версии страницы — этот способ удалит все страницы из выдачи, а не только неканонические. Чтобы в поиск попадала каноническая версия, укажите ее в коде страниц.

Статья по теме: Все о rel canonical: как указывать атрибут правильно и зачем он нужен

Чтобы убрать страницу из поиска, в левом меню Search Console выберите раздел «Индекс», далее «Удаления» и нажмите «Создать запрос».

В запросе есть две основные опции — временное удаление URL и удаление кешированной копии страницы. Обе опции работают только для одного адреса. Если страница доступна по разным URL или есть варианты их написания с разными регистрами, для каждого нужно отправить отдельный запрос.

Удаление одного или нескольких URL

Для удаления URL нужно будет выбрать один из вариантов:

• Только указанный URL;

• Все URL с указанным префиксом. Например, https://pr-cy.ru/news/. Обратите внимание, что из поиска будут удалены страницы с www и без, c HTTP и HTTPS, но это не распространяется на поддомены, например, m. для мобильной версии сайта.

Удаление кешированной копии страницы

В этом случае из поиска пропадет текущее описание страницы, а новое появится после очередного сканирования. Важно указать полный адрес, включая протокол и расширение: https://www.site.com/cat/page.html

Аналогично предыдущей опции, можно удалить кешированные копии всех страниц определенного раздела сайта, указав префикс.

В разделе «Удаления» есть еще два полезных блока: «Устаревший контент» и «Фильтрация безопасным поиском». В первом отображаются запросы пользователей на обновление устаревших сниппетов, во втором — URL, помеченные как контент для взрослых и скрытые в результате жалоб.

После создания запроса он появится в списке раздела «Удаления». На обработку обычно уходит до суток, а статус заявок можно отслеживать в интерфейсе. Если передумали, запрос можно отменить в любое время.

Удаление страницы из поиска Google навсегда

Инструмент для исключения страниц из выдачи работает временно, поэтому для полного удаления важно настроить техническую часть на стороне сайта.

• Удалите страницу через админку сайта. Когда поисковый бот в следующий раз будет сканировать сайт, он увидит код ответа 404 или 410 и исключит URL из индекса; код 410 обычно обрабатывается быстрее.

• Закройте доступ к странице, если она не должна быть доступна пользователям (например, через авторизацию или ограничение по IP).

• Используйте метатег robots с директивой noindex или HTTP-заголовок X-Robots-Tag: noindex для страниц, которые должны работать для пользователей, но не должны попадать в выдачу.

• Не полагайтесь только на robots.txt: запрет обхода не всегда приводит к быстрой деиндексации уже проиндексированных URL, поэтому его стоит применять в связке с кодами 404/410 и noindex.

Как удалить страницу из выдачи Яндекса и скрыть разделы сайта

У Яндекса подход к удалению страниц из поиска похож по базовым принципам, но отличается деталями реализации. Поисковик рекомендует сначала удалить страницу или закрыть ее от индексации технически, а уже затем пользоваться инструментом удаления страниц из поиска в Вебмастере.

При удалении страницы с сайта

1. В файле robots.txt закройте технические или служебные URL с помощью директивы Disallow, если не хотите, чтобы они индексировались в будущем. При обходе сайта робот сначала обращается к файлу robots.txt. Пример:

User-agent: Yandex

Disallow: /page? # запрещает обход страниц с указанным URL

2. Настройте код ответа сервера 404, 403 или 410. Код 410 для Яндекса — более явный сигнал, что страница удалена навсегда, и такие URL обычно вылетают из выдачи быстрее. Если нужно перенаправить пользователей на другую страницу, установите 301 редирект.

Статья по теме: Как настроить редирект самостоятельно

При удалении страницы из выдачи

1. На странице в метатеге robots укажите директиву noindex. Не закрывайте страницу в файле robots.txt, чтобы поисковый робот смог прочитать метатег и учесть запрет на индексацию.

Статья по теме: Метатеги robots и X-Robots для управления индексацией страниц вручную

2. Настройте код ответа сервера 404, 403 или 410.

В обоих случаях страница обычно исчезает из выдачи в течение нескольких дней после следующего обхода роботом. Страница, которую не удалили, но закрыли от робота, все еще может появляться в выдаче по ссылкам с других сайтов, если контент остается доступным пользователям.

Список исключенных из индекса страниц можно найти в Вебмастере в разделе «Индексирование» — «Страницы в поиске». На вкладке «Исключенные страницы» видно дату последнего посещения страницы роботом, URL и причину удаления: редирект, запрет индексирования, код ответа 404/410 и другие статусы.

Инструмент для удаления страниц из поиска

Чтобы ускорить удаление страницы из поиска Яндекса, используйте специальный инструмент. В Вебмастере перейдите в раздел «Инструменты» — «Удаление страниц из поиска». Можно удалить одну страницу или целый раздел — по префиксу.

Введите URL или путь и нажмите «Удалить».

В сутки можно удалить не более 500 страниц, поэтому при массовом удалении разделов планируйте приоритеты и отправляйте самые критичные URL в первую очередь.

Ниже в том же разделе находится список заявок на удаление. Каждой заявке присваивается статус:

• «В очереди на удаление»;

• «В процессе»;

• «Удалена»;

• «Отклонено».

Чтобы вернуть страницу в выдачу, уберите из robots.txt директиву Disallow или метатег noindex в коде. После этого страница вернется в поиск в течение нескольких недель после переобхода.

Удаление персональных данных и ссылок по праву на забвение

Техническое удаление URL из индекса не решает ситуацию, когда в выдаче Яндекса и Google остаются ссылки с персональными данными, порочащей или устаревшей информацией о человеке. В таких случаях используется право на забвение — процедура, которая позволяет требовать скрытия ссылок из результатов поиска.

Право на забвение в России закреплено в федеральном законодательстве и распространяется на физические лица. Поисковые системы скрывают ссылки из выдачи по запросам, связанным с конкретным именем, но сам контент на сайтах-источниках остается доступен.

Чтобы запросить удаление результатов, связанных с персональными данными, нужно заполнить отдельные формы в Яндексе и Google, описать, какие именно сведения вы считаете устаревшими или некорректными, и приложить документы, подтверждающие вашу позицию. Поисковые системы рассматривают такие обращения индивидуально и могут как удовлетворить запрос, так и отказать.

Если поисковая система откажет в удалении ссылок по праву на забвение, остается вариант судебного разбирательства. В этом случае важно подготовить обоснование, почему публикации нарушают ваши права или содержат недостоверные сведения.