Владельцы сайтов обычно тратят много времени на создание и размещение нового контента на сайт или на улучшение уже выложенного, чтобы поднять его позиции. Очень жалко удалять из поискового индекса страницы, в которые вложено много сил и времени, но иногда это стоит сделать.
Зачем удалять устаревший контент
Рассмотрим несколько ситуаций, когда вам может понадобиться удалить устаревший контент:
Обновления в ассортименте интернет-магазина
В интернет-магазине с огромным ассортиментом товаров внушительная часть позиций может быть недоступна. Какие-то будут временно отсутствовать на складе, часть снимут с производства или заменят другими. Образуются десятки или сотни неактуальных товарных страниц
В зависимости от потребностей бизнеса и особенностей технологий может потребоваться удалить их из индекса — временно или навсегда. К примеру, чтобы на них не тратился краулинговый бюджет сайта. Тогда роботы не будут тратить ресурсы на сканирование неактуальных страниц, а сразу пойдут на важные.
Устаревшие новости и статьи
Новости по своей природе быстро устаревают. Многие новостные сайты выпускают заметки часто и регулярно, в некоторых СМИ это несколько в час. Из-за этого сайт сильно разрастается. Многие устаревшие новости никогда больше не понадобятся и не принесут трафик — такие можно и удалить.
Статьи также устаревают. Если советы из материала больше не работают, их можно актуализировать. Если в этом нет смысла, можно поставить редирект на другой материал по той же теме. Но иногда тема уходит в прошлое в принципе, как продвижение в Google+, так что нет смысла дорабатывать статью и не на что ее редиректить. Тогда материал можно удалить.
Читать по теме:
Продвижение новостных сайтов в 2021
Строгое регулирование отрасли
Есть отрасли, которые строго регулируются законами, к примеру, медицина или финансы. Когда появляются новые законные требования к этим сайтам, приходится добавлять какие-то документы и соглашения, обновлять сайт и менять контент. Иногда нужно срочно что-то удалять, чтобы не попасть на штрафы или даже блокировку.
К примеру, особые требования к медицинским статьям для широкого круга читателей существовали не всегда, и когда они появились, пришлось добавлять плашки с напоминанием обратиться к врачу, переписывать рекламные материалы, а что-то наверняка и удалять.
Акции с ограничением по времени
Многие интернет-магазины делают отдельные страницы к специальным распродажам. К регулярным распродажам типа Черной пятницы страница может понадобиться и через год, но в целом с окончанием акции такие страницы перестают быть нужны.
Есть мнение, что если клиенты видят закончившуюся распродажу с выгодными скидками, им становится менее интересно покупать товар, поскольку они расстраиваются из-за упущенной выгоды и думают, что теперь переплатят.
Как удалить устаревший контент
Удаление контента — это не всегда история о безвозвратном удалении страницы. Есть несколько уровней: можно удалить ее только из индекса, оставив на сайте, тогда пользователи не найдут ее в выдаче, но смогут перейти на нее по ссылкам с других страниц или из закладок. А можно удалить и с сайта — навсегда или временно отправив ее в архив.
Некоторые из наиболее распространенных методов удаления устаревшего контента:
Тег noindex
Можно не удалять страницу с сайта, а дать роботам сигнал не индексировать ее с помощью тега noindex. Если она уже есть в индексе, при следующем обходе боты должны увидеть тег и убрать ее из индекса.
<meta name="robots" content="noindex"/>
Почитать по теме:
Как составить robots.txt самостоятельно
Тег noindex можно настроить с помощью SEO-плагинов для CMS, эта функция часто в них встречается.
Пользователи по-прежнему смогут зайти на страницу, если на нее ведут внутренние ссылки на сайте или если они посещали ее раньше и сохранили в закладках адрес.
Удаление страницы из индекса с помощью noindex не будет необратимым действием. Если вы захотите вернуть страницу, удалите тег и при следующем сканировании поисковый бот это увидит.
Обратите внимание, что если вы удалили из индекса страницу с хорошими позициями, не факт, что если вы уберете noindex, она вернется на ту же строчку выдачи.
Инструмент удаления URL-адресов в Яндекс.Вебмастере
Можно ускорить процесс удаления из Яндекса. Сначала нужно запретить их индексирование: прописать disallow в файле robots.txt и указать на странице метатег robots с директивой noindex. Это обязательно. При следующем обходе робот увидит эти сигналы.
Для ускорения процесса в Вебмастере есть инструмент «Удалить URL». Чтобы удалить отдельные страницы, выберите «По URL» и введите адрес. В сутки можно удалять до 500 адресов одного сайта.
На этой же странице будут отображаться статусы URL — «В очереди на удаление», «В процессе», «Удалена» или «Отклонено», если не указан запрет на индексирование или если бот получает какой-то другой ответ сервера, кроме 404 Not Found, 403 Forbidden или 410 Gone.
Чтобы удалить целую группу страниц, нужно выбрать «По префиксу», тогда будут удалены страницы, содержащие в URL указанный шаблон. К примеру, https://site.com/catalogue/ для всех страниц каталога, https://site.com/page? для URL с параметрами.
В сутки можно ввести до 20 префиксов для одного сайта.
Есть момент: страницу, запрещенную с помощью disallow, все равно могут проиндексировать, если на нее будут ссылаться другие страницы сайта. Бот может решить, что раз есть ссылки, то страница важна.
Инструмент удаления URL-адресов Google Search Console
У Google тоже есть такой инструмент — это «Инструмент удаления URL» в консоли Google.
Он позволяет временно удалить URL-адрес или адреса по вашему выбору.
Можно удалить все URL с определенным префиксом. Например, удаление site.com/products/ приведет к удалению всех других URL-адресов с /products/ в пути URL:
- site.com/products/alarm-clocks/
- site.com/products/house-plants/
- site.com/products/flasks/
Также можно удалить только кэшированную версию URL или ее фрагмент — тег заголовка и описания, которые отображаются в результатах поиска. Это может быть полезно, если в этих фрагментах цены, телефоны или предложения, которые поменялись, и вам нужно быстро изменить отображение страницы.
301 или 302 редирект
Еще вариант — настроить со страницы перенаправление на другую. К примеру, если производство одного вашего продукта остановлено на неопределенный срок, можно настроить редирект на страницу с аналогами. Это позволит не терять пользователей, а предложить им другое решение, к тому же страница не выпадет из поиска. Когда товар снова появится в наличии, редирект нужно просто удалить.
Также и с информационными страницами: если статья нетрафиковая или потеряла актуальность, можно перенаправлять пользователя на другую по той же теме.
Почитать по теме:
Как настроить 301 редирект самостоятельно
Удаление страницы с сайта
Другое быстрое решение — просто удалить страницу с сайта, если она не нужна. Если робот получит 404, 403 или 410 HTTP-код ответа сервера при обращении, он исключит ее из индекса.
Если удаляете страницу, на других страницах сайта удалите или замените и ссылки на нее, чтобы пользователи на натыкались на недоступную страницу по ссылкам с другого контента или из закладок.
Если страница сейчас получает трафик, имеет потенциал для получения трафика в будущем или приносит хорошие обратные ссылки, лучше все-таки не удалять ее, а настроить редирект на другую.
Почитать по теме:
Настройка отслеживания 404 ошибок с помощью Google Tag Manager
Чем вредят сайту битые ссылки? Поиск и способы исправить
Не удаляйте вообще
В некоторых случаях можно не удалять неактуальную страницу, если она будет нужна через какое-то время. Когда дело доходит до регулярных распродаж, таких как Черная пятница, разумным решением может быть просто оставить страницу активной на неопределенный срок, разместив на ней сообщение о том, что распродажа начнется через «xxx месяцев или дней». Тогда не придется каждый раз развивать новую страницу, а старая будет прокачиваться со временем.
Пример — страница Черной пятницы на сайте Argos. В январе 2021 года она работает и занимает место на первой странице Google по запросу «распродажа в черную пятницу», хотя акция начнется в ноябре.
Ненадежные способы
Для удаления страниц из индекса поисковых систем иногда используют канонические теги, но их лучше использовать для отметки похожего контента, а не устаревшего. Нет гарантии, что поисковые боты будут обращать внимания на канонический тег, часто они принимают свои решения о показе страницы.
Кто-то использует указания об индексировании в файле robots.txt, но этот файл боты Google воспринимают как рекомендации, а не как правила. Если использовать robots.txt для удаления страниц из индекса, то в совокупности с другими способами.
Метод, который вы выбрали для удаления контента из индекса поисковых систем, должен зависеть от ценности контента и от того, на какой срок вы хотите его удалить — навсегда или временно. Выбирайте с умом!
На основе статьи «How To Remove Outdated Content From Search Engines» Joe Johnson
