3174 Знания

Чем вредят сайту битые ссылки? Поиск ссылок и способы их исправить

Мифы о страницах 404, инструменты и сервисы для поиска битых ссылок и методы работы с ними.

Представим, что веб-мастер написал статью и поставил ссылку на Википедию. Страницу удалили, веб-мастер об этом не знает, ссылка на его сайте все еще стоит, но теперь ведет на страницу 404. Или представим веб-мастера, который переместил товар в новую категорию или настроил ЧПУ, но забыл сделать редиректы со старых URL. Теперь старые ссылки на товары ведут на несуществующие страницы.

Такие ссылки, ведущие в никуда, называют битыми. Они могут быть внутренними — ведущими на страницы своего сайта, или внешними — на страницы стороннего проекта.

Битые ссылки — это гиперссылки, которые ведут на несуществующие файлы или страницы ресурса.

Страницы отдают серверу код ответа 404 Not Found — он означает, что сам сервер найден, но документа по такому адресу не существует, имя файла в коде и на сервере не совпадает. К примеру, файл на сервере удалили или переместили, и теперь он доступен по новому адресу.

Если таких ссылок на сайте много, становится интересно, может ли это негативно повлиять на SEO и позиции сайта. Разберемся, что об этом говорят представители ПС.

Чем вредны битые ссылки на сайте

Битые ссылки вредят SEO: уводят посетителей, ухудшают поведенческие факторы и увеличивают отказы. Пользователь надеялся получить дополнительную информацию, а по ссылке ошибка — ожидания не оправдались. Если он перешел на страницу, где 404, он может совсем закрыть вкладку с сайтом и пойти к конкурентам.

Такие ссылки участвуют во внутренней перелинковке и нарушают распределение ссылочного веса, перетягивая на себя часть авторитетности донора.

Битым ссылкам часто приписывают лишний негатив. В статьях про краулинг встречается информация, что битые ссылки отрицательно влияют на краулинговый бюджет — ресурсы, которые ПС выделяет на сканирование сайта. Пишут, что краулер потратит лимиты на бесполезный обход битых ссылок и из-за этого проигнорирует важные страницы.

По словам Джона Мюллера, сотрудника Google, это не так: 4хх ошибки не приводят к снижению краулингового бюджета. Бот повторно сканирует эти страницы, чтобы убедиться, что они закрыты, но делает это не в ущерб остальным страницам.

Еще Джон Мюллер отмечает, что неважно, сколько страниц с ошибками 404 есть на сайте, фактом своего наличия они не могут снизить рейтинг остальных страниц.

4хх ошибки не крадут бюджет краулера.

Но это касается не всех страниц 4хх. В блоге Google перечисляют страницы, которые негативно влияют на распределение бюджета, и среди них есть «мягкие страницы ошибок», то есть 404 SOFT.

404 SOFT возникают, если для несуществующей страницы сервер должен ответить кодом 404 или 410, а вместо этого отвечает HTTP-кодом ответа 200 OK. В таком случае краулер воспринимает страницу как обычно, сканирует ее и тратит краулинговый бюджет вместо обхода действительно важных страниц.

Ошибки 404 SOFT тратят краулинговый бюджет.

Большое количество страниц 404 точно не принесет никакого положительно эффекта, а навредить может, поэтому лучше их исправить. Найти страницы 404 помогут специальные сервисы и инструменты.

Для совсем небольших сайтов можно обойтись ручным способом — пролистать все страницы и посмотреть все ссылки на сайте или посмотреть ссылки из выдачи ПС по запросу «site: вашсайт.ру»

Сервисы могут показывать неточные результаты, так что комбинируйте несколько инструментов, чтобы найти как можно больше страниц с ошибками.

Google Search Console

Страницы с ошибками консоль отображает в разделе «Сканирование» — «Ошибки сканирования».

битые ссылки в Google Search Console
Ошибки URL, скриншот с сайта devaka.ru


В консоли перечислены ссылки на момент последнего обхода сайта краулером, поэтому в режиме реального времени отследить ссылки не получится.

Удобно отслеживать 404 ошибки можно с помощью Google Tag Manager. Как это сделать — в руководстве.

Яндекс.Вебмастер

Сервис отображает битые ссылки в разделе «Внутренние ссылки» — «Неработающие внутренние ссылки на сайте». Он покажет примеры внутренних неработающих ссылок по данным последнего обхода сайта ботом Яндекса.

битые ссылки в Яндекс Вебмастере
Битые ссылки в Метрике, скриншот SEO блиц vc.ru/u/166702-seo-blic

Анализ сайта

Сервис проверяет сайт по 70+ параметрам: отношение поисковиков, оптимизацию страниц, технические характеристики, юзабилити, мобилопригодность и прочее. Он анализирует не только главную и общее состояние сайта, но и внутренние страницы, с его помощью можно найти страницы 404.

Проведите проверку внутренних страниц и получите данные о кодах ответов сервера, мета-тегах, анализ оптимизации контента на странице и технических данных со списком ошибок и пояснениями. По кнопке «Страницы сайта» появится список страниц с фильтрами для удобного изучения.

анализ внутренних страниц сайта сервис
Пример проверки внутренних страниц Анализом сайта


Поставьте фильтр «код ответа 404», чтобы увидеть только такие страницы, и получите список ссылок. Результаты можно скачать в удобной для работы таблице.

поиск страниц 404 в Анализе сайта
Пример ссылок на страницы 404 в Анализе сайта


Проверка внутренних страниц работает на тарифах «Начальный» и «Профи», они платные, но для тестирования сервиса есть недельный триал. Количество страниц зависит от тарифа.

Online Broken Link Checker

Англоязычный онлайн-инструмент для проверки битых ссылок. Бесплатно проверяет до 3000 страниц, смотрит только HTML-документы, то есть ссылок на изображения, видео и другое мультимедиа не будет.

бесплатный инструмент для поиска битых ссылок
Результаты проверки сайта


Если вам нужно просканировать больше страниц, проверить подпапки (URL-адреса с /) или отдельные страницы, экспортировать результаты в MS Excel, авторы инструменты предлагают связаться с ними.

Xenu's Link Sleuth

Бесплатная англоязычная программа для анализа ссылок на сайте. Инструмент захватывает корневую страницу и проверяет ее, переходя на отдельные ссылки для поиска ошибок. Есть настройка работы программы с фильтрами и количеством одновременных потоков проверки.

настройка Xenu's Link Sleuth
Настройка программы


После завершения проверки Xenu's Link Sleuth генерирует HTML-отчет с результатами.

как работать с инструментом Xenu's Link Sleuth
Пример результата работы программы


Работает бесплатно, но проверка больших ресурсов занимает довольно много времени.

Screaming Frog

Англоязычная программа для анализа ссылок на сайте. Есть бесплатная версия с проверкой 500 страниц.

как работать в программе Screaming Frog
Пример анализа сайта программой


Платный тариф открывает неограниченное количество страниц для анализа и дополнительные возможности — формирование отчетов, интеграцию с GA, сканирование и проверка AMP и разметки и другие. Стоит 149 евро в год.

Broken Link Checker, плагин для WordPress

Плагин отслеживает ссылки на страницах сайта — в блоге, комментариях и меню — и оповещает веб-мастера через панель инструментов или по электронной почте о том, что ссылка стала битой. Настройки позволяют работать с этими ссылками — запрещать поисковым ботам переходить по ним, менять и исправлять ссылки внутри плагина, не редактируя сам пост.

интерфейс плагина для WordPress Broken Link Checker
Пример работы плагина, скриншот oddstyle.ru


Доступен бесплатно, есть русификация.

Расширение Check My Links для Google Chrome

Оно подходит для проверки конкретных страниц, позволяет наглядно увидеть местоположение ссылок и их вид.

После установки расширения в браузере в правом верхнем углу появится иконка. Перейдите на нужную страницу, где будете анализировать ссылки, и кликните на иконку. Расширение проверит ссылки, выведет счетчик и подкрасит ссылки цветами. Ссылки, ведущие на страницы 404, будут красными.

работа с расширением Check My Links для Google Chrome
Пример работы расширения


Расширение работает бесплатно, но подходит для небольших сайтов или работы с конкретными страницами.

Как проверить код ответа сервера на странице

Узнать, какой код ответа возвращается по URL, к примеру, можно с помощью инструмента проверки URL в консоли веб-мастера.

поиск битых ссылок в google search console
Проверка URL в консоли


На странице может быть 404, потому что на ней слишком мало контента, ссылки на ней ведут на недоступные ресурсы, запрещенные к доступу в robots.txt. Или ресурсов наоборот слишком много, они много весят и слишком долго обрабатываются.

Что делать с битыми ссылками и несуществующими страницами

Итак, с помощью сервисов вы нашли ссылки, которые ведут на недоступные страницы. Варианты дальнейших действий зависят от самой ссылки.

Внешняя битая ссылка

Ссылка с вашего сайта ведет на сайт партнера, но конечная страница не работает. Найдите такие ссылки и удалите, если содержание не пострадает, или замените на актуальные. Если это коммерческая ссылка, которую нельзя удалить и заменить, свяжитесь с партнером и скажите о проблеме с его ресурсом.


Кстати, на поиске ссылок на страницы 404 на чужих сайтах базируется один из методов получения обратных ссылок. Веб-мастеры отслеживают трафиковые статьи по своей теме, находят в материале ссылки, которые ведут на 404, и пишут свои посты на эту тему. Потом они пишут автору блога и предлагают заменить битую ссылку на их материал. Выигрывают обе стороны: веб-мастер получает ссылку на свой сайт, а автор блога закрывает битую ссылку хорошим материалом и не отправляет пользователей читать несуществующую страницу.

Внутренняя битая ссылка

Что делать с битыми ссылками внутри своего сайта, варианты:

  1. Если страницу по ссылке удалили случайно, восстановите ее.
  2. Замените битую ссылку в тексте актуальным линком на страницу.
  3. Если существует страница с аналогичным контентом по новому адресу, к примеру, если вы переместили товар в другую категорию с изменением URL, настройте 301 редирект.
  4. Если замены для такой страницы нет, удалите ссылку.

Что делать с недоступными страницами

Даже если вы удалите все ссылки на несуществующие страницы, они все равно будут появляться — пользователь ошибется в адресе, произойдет технический сбой или что-то еще, поэтому рекомендуем сделать настройку.

Страница с ошибкой должна возвращать код ответа 404 (недоступно) или 410 (удалено), но не 220 ОК. Код 410 сервер посылает, если ресурс удален и недоступен, а расположение копии неизвестно. Если документ может быть восстановлен, то лучше передать 404.

Стандартная страница 404 побуждает закрыть вкладку. Настройте свою страницу 404, чтобы возвращать пользователей на сайт и направлять на целевые страницы. Разместите на ней навигацию к работающим разделам сайта, ссылку на главную или что-то смешное и интересное. Это позволит вернуть пользователей к работе с сайтом и оставить хорошее впечатление о компании.

пример страницы 404
Страница 404 сайта Airbnb предлагает другие разделы сайта
анимированная страница 404
На сайте Github со страницы с ошибкой можно использовать поиск, войти в учетную запись, перейти в другие разделы сайта

страница 404
Страница 404 сайта HeadHunter отправляет к полезным разделам сайта

оформление страницы 404
Страница 404 у Blizzard в шутку обвиняет «Спасибо, вы сломали нам страницу» и предлагает перейти к другим разделам

пример оригинальной страницы 404
Страница 404 сайта 9GAG предлагает скачать приложение, если сайт недоступен

интересный пример страницы 404 на сайте
Глаза на странице сайта hakim.se/404 следят за курсором, есть ссылка на главную

Следующий шаг — разобраться со страницами, которых не существует. Ссылки на них все еще могут быть в индексе ПС, поэтому их нужно удалить.

Как удалить несуществующие страницы из индекса

Удалить страницы из индекса можно через панели веб-мастеров Яндекс и Google.

Чтобы страница удалилась из индекса, сервер при обращении к ней должен возвращать ошибку 404. Если страница существует, но не должна участвовать в поисковой выдаче, закройте ее от индексации правилами robots.txt или мета-тегом noindex.

При следующем обходе сайта роботом запросы на удаление будут выполнены, а страницы исчезнут из результатов поиска.

Google о повторяющихся внутренних ссылках
Google: не злоупотребляйте отклонением обратных ссылок
Google: не отклоняйте ссылки с SEO-атак
Комментарии (7)
WebmageS   25.07.2019 10:29
Полезно!
Elena_Zhmurina   25.07.2019 12:33
Рады, что полезно :)
neironshmidt   25.07.2019 17:00
Отличная статья, много что узнал!
Elena_Zhmurina   26.07.2019 09:45
Спасибо, приятно!
AlterEgoRex   30.07.2019 15:15
Внимание! Поисковый робот не обнаружит директиву noindex, если страница заблокирована в файле robots.txt. Такая страница может быть представлена в результатах поиска (например, если на нее есть ссылка на другой странице). и есть много других факторов почему страницы, ранее закрытые, будут в поиске https://clck.ru/HMKPo
gene4god   06.08.2019 15:22
Спасибо, пригодилось в плане автоматизации.
gene4god   06.08.2019 15:32
Однако, Xenu был воспринят моей защитой как спам сканер и заблокировал мой же IP )))

Чтобы оставлять комментарии, вам нужно войти в систему

Авторизоваться

К данной записи нельзя добавлять комментарии, т.к. она очень старая.