Все посты
1119 Новости

Google: не нужно запрещать сканировать страницы 404

Запрет для Гуглбота сканировать страницы с кодом ответа 404 – не самая хорошая идея со стороны веб-мастера.

Общаясь с представителем Google, один сеошник признался:

«Мой сайт автоматически блокирует все юзер-агенты, которые фиксируют свыше десяти ошибок 404, в том числе это касается и поисковых ботов Google.
Параллельно я использую редирект 301, чтобы перенаправлять пользователей с таких страниц на другие сайты с релевантным контентом».

Ответ эксперта поисковой системы не заставил себя долго ждать:

«Такое решение выглядит весьма неудачным, поскольку способно привести к разного рода проблемам. Вы не можете запретить Гуглботу или другим поисковикам сканировать страницы 404».

Чуть позже Гуглмен добавил:

«Миллиарды страниц с кодом ответа 404 сканируются нами ежедневно. Это обычная практика для сети. Только так наши боты способны определить, что конкретный URL больше не существует. Вы не должны намеренно препятствовать этому процессу».

В этой статье детально разбираем коды ответов серверов.

Теги поста или какие разделы почитать еще:

Комментарии (0)
К данной записи нельзя добавлять комментарии, т.к. она очень старая.
Как сделать структуру сайта для SEO: 15 советов
Краулинговый бюджет сайта — актуальное об индексации страниц в 2021 🤖
Google PageRank не мертв: зачем и как работать со ссылками