Фильтры, санкции и алгоритмы Google

В статье очень много ссылок на документацию и новости от Google. Собрали их, чтобы вы не тратили на это время при изучении темы. 

Что такое фильтры и санкции

В русскоязычном сегменте интернета используют два понятия — «алгоритмические фильтры» и «ручные санкции», которые отличаются механизмом действия.

Если органический трафик и позиции внезапно стали снижаться, но на сайте не было масштабных изменений или технических проблем, причин может быть три:

• Сайт проверил сотрудник поисковой системы и принял меры вручную — это санкции;

• Сайт попал под фильтр из-за нарушений. Фильтры входят в алгоритмы поисковых систем и их сотрудники не контролируют напрямую их воздействие на конкретные сайты;

• Обновление алгоритма Google привело к снижению рейтинга, хотя сайт не наказали, просто другие сайты оказались в чем-то лучше.

Каждое обновление алгоритмов решает какую-то задачу или несколько сразу — показывать наиболее полезные и достоверные тексты, пресекать продвижение покупными ссылками, убирать из выдачи страницы с переспамом ключами и прочие.

Обновления часто приводят к изменениям в поиске, они могут снижать позиции сайтов и удалять их полностью или частично из выдачи.

Если сайт попал под алгоритм, его владелец не получит никакого оповещения, так что придется делать выводы по косвенным признакам. Часто это выглядит так: трафик падает, страницы теряют позиции или совсем выпадают из выдачи. Скорее всего, на форумах и в обсуждениях в соцсетях кто-то расскажет, что нашел у себя такие же симптомы. Хорошая новость в том, что позиции могут вернуться через какое-то время без дополнительных действий с вашей стороны.

Что об этом говорят в блоге Google:

​​Если после определенного ключевого обновления эффективность страниц снизилась, это не значит, что с ними что-то не так. Такое может произойти, даже если эти страницы не нарушили правила в отношении спама и к ним не применялись действия, выполненные вручную или автоматически (в отличие от страниц, нарушивших наши требования). Ключевые обновления не нацелены на конкретные страницы и сайты. Они предназначены для того, чтобы наши системы могли в целом лучше оценивать контент. Поэтому после внедрения обновлений может повыситься рейтинг страниц, которые раньше были менее эффективными.

Сайт может пострадать и в индивидуальном порядке, если нарушил правила и попался на этом — это и называют фильтрами.

Чтобы это проверить, сравните топ выдачи по интересующему запросу до и после апдейта. Если изменения коснулись только вашего сайта, то это фильтр. Если изменения в топе более значительные, вроде выпадения половины сайтов из ТОП-10 или смены сайтов в ТОП-3, то это, вероятно, общее действие алгоритма.

Сайты попадают под фильтры за нарушение принципов честной оптимизации: «серые» способы раскрутки, спам ключами и ссылками, показ разного контента поисковым роботам и пользователям и другие. Кроме того, к срабатыванию фильтров могут привести технические проблемы, низкое качество контента, недопустимое содержание.

Англоязычную и немецкоязычную части интернета Google считают наиболее «чистыми» от нечестных методов продвижения. Остальная же часть интернета оптимизирует сайты на грани попадания под фильтры. Это наиболее простой способ зайти в топ, однако при нем любое малейшее изменение в алгоритмах может заставить вас менять всю стратегию продвижения.

Фильтры, которые стали частью алгоритма

Некоторым фильтрам дают официальные названия, к примеру, «Панда» и «Пингвин». Но они уже не работают как отдельные сущности, а входят в основной поисковый алгоритм и могут применяться одновременно – на них, кстати, и попадают чаще всего.

Известные фильтры уже в составе общего алгоритма со временем меняются и обновляются, но их принципы работы и признаки на сайте остаются теми же.

Чтобы контролировать ситуацию, у вас должны быть подключены Google Analytics и Search Console. В GA вы найдете информацию о трафике, его источниках, активности пользователей и популярности страниц. Если возникнут проблемы, в отчетах это будет видно.

В GSC можно отследить позиции всего сайта и отдельных страниц, количество страниц в индексе, информацию о состоянии мобильной версии сайта и — самое главное — уведомления о ручных санкциях, о которых поговорим ниже.

Алгоритмические фильтры не предполагают запросов в техподдержку. Все, что вы можете сделать — это исправить проблемы, которые могли привести к понижению рейтинга сайта, и дождаться, когда Google повторно его просканирует.

Возможно, нет смысла искать признаки проблем у сайта по устаревшим названиям фильтров. Тем не менее, рассмотрим их историю и принципы действия.

Песочница (Sandbox) — миф?

«Песочница» — название для фильтра поисковика, который якобы применяют к молодым сайтам непонятного качества, чтобы они не попали в топ сразу. Сайту нужно пересидеть какое-то время в «песочнице» перед тем, как он появится в индексе.

Согласно официальной позиции Google, «Песочницы» не существует. Некоторые оптимизаторы считают, что что-то похожее по эффекту есть: молодые сайты не получают трафик, но не из-за молодости, а потому что недостаточно авторитетны, плохо развиты, до них еще не добрался краулер и так далее.

Представитель Google Гарри Илш еще в 2016 году в Твиттере заявил, что у поисковика нет песочницы:

Представитель поисковика Джон Мюллер также заявлял, что для попадания в топ нет ограничений по возрасту страниц:

Мы не создаем искусственных ограничений для высокого ранжирования новых страниц. То есть у нас нет предписаний, что, скажем, по этому ВЧ-запросу попасть в топ могут только страницы определенного возраста, с определенным количеством бэклинков и соответствующие другим обязательным критериям.

На самом деле все обстоит иначе. У нас есть множество факторов, которые определяют то, как именно сканируется, индексируется и ранжируется веб-контент. И вот иногда случается так, что новая страница в силу определенных причин оказывается для нас предельно важной. Как итог, мы можем ранжировать ее очень высоко в SERP даже по ключевым словам с заоблачной конкуренцией. Повторюсь, такое теоретически возможно!

Считается, что этот миф появился в 2004-2005 годах. С тех пор поисковик периодически опровергает его, но остаются веб-мастеры, которые наблюдают «эффект песочницы» на своем опыте и считают, что Google его скрывает.

Они советуют ждать и развивать сайт, тогда стабильный рост качественной ссылочной массы и полезного контента не останется без внимания поисковика и ускорит выход. К тому же, качественный сайт с большей вероятностью после выхода из «Песочницы» сразу займет хорошую позицию в поисковой выдаче.

Важным показателем качества сайта станут поведенческие факторы и реальная обратная связь пользователей, например, в виде системы оценок статей или открытых комментариев. Те, кто уверен в наличии «Песочницы», обычно оценивают выход из-под этого фильтра в срок до года.

Пингвин (Penguin)

Задача: борьба со ссылочным спамом.

Обновление «Пингвин» было запущено 24 апреля 2012 года в качестве средства борьбы с нечестным ссылочным продвижением — спамом, нерелевантными ссылками, переоптимизированным якорным текстом. В 2016 году фильтр обновили в последний раз, а потом он стал частью поискового алгоритма Google.

После обновления в 2016 году «Пингвин» не наказывает за спамные ссылки, а просто обесценивает и игнорирует их.

В отличие от алгоритма «Панда», он распознает сигналы на уровне страницы и не переносит их на весь ресурс.

Если спамных бэклинков, которые появились без вашего участия, слишком много и они вас беспокоят, Google рекомендует использовать инструмент отклонения ссылок.

Сейчас «Пингвин» обновляется постоянно и работает в режиме реального времени, поэтому Google не уведомляет об обновлениях и обычно не сообщает владельцу сайта о применении фильтра.

Тем не менее, санкции за нарушения иногда применяют вручную, о чем заявлял представитель Google Гарри Илш. Если Google обнаружит, что сайт систематически пытаются продвигать через спам, то применит более жесткие ручные санкции.

Что об этом говорит Джон Мюллер:

Когда находим что-то проблематичное и и похожее на спам-ссылку, мы стараемся игнорировать это. Если это заметный и постоянный паттерн для сайта, наши алгоритмы могут сказать: «Мы действительно потеряли доверие к этому сайту». Нам нужно быть более консервативными, когда дело доходит до понимания содержания сайта и его ранжирования в результатах поиска, а затем вы увидите падение видимости.

Ручные санкции от «Пингвина»

Обычно начинается с сообщения в Google Search Console о том, что сайт подозревается в использовании покупных входящих ссылок. В сообщении вы, конечно, не встретите слово «Пингвин», но критерии оценки нарушений те же. Признаки — сайт падает по посещаемости и позициям. Позиции могут обвалиться резко или снижаться постепенно.

Основной сигнал для наложения «Пингвина» вручную — переспам анкоров. Использование обратных ссылок с коммерческими или другими ключевыми словами с большой долей вероятности приведет к ручному фильтру.

Как снять

1. Проверьте, есть ли уведомление в Google Search Console. Если есть, составьте запрос на пересмотр. В первом запросе уточните, какие именно ссылки нарушают правила, и спросите, что необходимо сделать для снятия санкций;

2. В ответе сотрудники поисковика укажут несколько примеров ссылок, которые считают спамными и нарушающими руководство для веб-мастеров Google. Если проблемные ссылки арендованные — удалите все подобные ссылки. Если же вы получили «Пингвина» за вечные ссылки, составьте список нежелательных ссылок в TXT файл, используя Search Console.
   Выгрузку можно упорядочить по имени хоста: Ссылки на ваш сайт -> Наиболее часто ссылаются -> Загрузить больше ссылок для примера. Или в хронологическом порядке: Ссылки на ваш сайт -> Наиболее часто ссылаются -> Загрузить последние ссылки.
   Для надежности, и если сайт выброшен из поиска, добавьте результаты из сторонних сервисов проверки входящих ссылок вроде Linkpad или Majestic, каждая ссылка с новой строки. После чего загрузите файл в сервис отклонения входящих ссылок Google.

3. Подождите переиндексации ссылок. Обычно на это уходит около одной недели, но для подстраховки подождите две.

4. Составьте новый запрос на пересмотр. В запросе четко укажите все ваши действия, в том числе список всех удаленных и закрытых ссылок, и уточните, что еще нужно сделать для снятия негативного эффекта.

5. Заявка обрабатывается до одного месяца, после чего придет положительный или отрицательный ответ. Если вам отказали, проделайте пункты 2-4 снова, но более тщательно. Иногда требуется повторить чистку ссылок и отправить запрос несколько раз, чтобы выйти из-под фильтра.

Панда (Panda)

Задача: борьба с некачественным контентом.

«Панда» — часть поискового алгоритма, относится к оценке качества сайта и контента на нем. Основное, на что «Панда» обращает внимание — это контент.

С 2011 до 2016 года «Панда» была отдельным фильтром, но сейчас корректно называть ее сигналом ранжирования. Алгоритм распознает сигналы на уровне страницы и распространяет их на сайт в целом, в отличие от «Пингвина», который рассматривает отдельные страницы.

«Панда» обращает внимание на пользовательский спам, переоптимизацию ключами, плагиат. Особенность алгоритма в том, что за нарушения на большинстве страниц он может пессимизировать, а иногда и вовсе выкинуть из индекса весь сайт целиком.

Но если на сайте страниц с нарушениями немного, сайт в целом может считаться качественным. Google может продолжить показ этих сайтов по специфичным и высокорелевантным запросам, а по некоторым запросам видимость будет снижена.

Рискуют попасть под фильтр сайты, у которых:

• Много неоригинального контента. В пределах самого сайта также не должно быть дублей контента;

• Клоакинг;

• Много нерелевантных заголовку страниц;

• Избыточное количество вхождений ключевых слов и фраз в текстах, заголовках, мета-тегах и описаниях изображений;

• Высокий процент отказов пользователей, как на отдельных страницах, так и на всём сайте в целом, низкая средняя величина времени пребывания пользователя на сайте;

• Нерелевантная реклама или реклама в чрезмерных количествах;

• Контент, структурированный и оформленный шаблонно и однообразно.

• Узкий анкор-лист внутренней перелинковки.

Один из критериев оценки контента у Google — поведенческие факторы. В случае с «Пандой» контент оценивают не только алгоритмы, но и вполне живые люди — асессоры. Поэтому важно создавать оригинальный, полезный и легко находимый контент, что положительно скажется на времени пребывания пользователей на сайте и глубине просмотра.

Как снять

В первую очередь обратите внимание на качество контента на вашем сайте:

• Удалите дубли страниц и копипаст, приведите в порядок внутреннюю перелинковку, чтобы пользователи легко находили похожий контент;

• Удалите контент, не соответствующий тематике сайта;

• Через Search Console найдите запросы, которые ведут к страницам, не удовлетворяющим потребности, или дающим неопределенную информацию.

• Проверьте тексты на фактическую достоверность, убедитесь, что из них можно узнать что-то полезное;

• Разбавьте тексты на сайте маркированными или нумерованными списками, таблицами изображениями, графиками, видео. Исправьте все орфографические, грамматические, стилистические ошибки;

• Проверьте заголовки на сайте: они должны соответствовать содержанию страниц;

• Устраните избыточные вхождения ключевых слов в текстах, заголовках Н1-Н6, мета-тегах и описаниях изображений;

• Проблемные страницы, которые не готовы удалить, закройте от индексации на время, пока не исправите их контент;

• Удалите исходящие ссылки на ресурсы, которые не подходят тематике окружающего ссылки текста и тематике вашего сайта в целом.

«Панду» можно получить за контент, не соответствующий факторам E-E-A-T, особенно если он затрагивает чувствительные темы — здоровье, финансы и безопасность людей, так что просто привести в порядок тексты не получится, придется серьезно поработать.

Если вы попали под фильтр, но обнаружили и устранили недочеты на вашем сайте, рано или поздно он будет снят. Будьте готовы к тому, что на это понадобится не одно и даже не два обновления — в некоторых случаях выход из-под «Панды» может занять более года.

Бэби Панда (Baby Panda)

Появился в 2012 году вскоре основной «Панды», поэтому и получил такое название. Этот фильтр отслеживал сайты с чрезмерным количеством рекламы на первом экране и понижал их в выдаче.

Скорость загрузки (Speed Update)

Задача: борьба с медленными сайтами.

Это обновление прямо связано со всеми другими, касающимися мобильных устройств.

Обновление Google Speed Update выкатили в 2018 году. Оно влияло на сайты с долгой загрузкой и касалось мобильной выдачи: фактор скорости загрузки сайта получил больше веса в алгоритме ранжирования, поэтому очень медленные сайты стали получать более низкие позиции. На позиции сайтов, которые загружались быстро или средне, апдейт не распространялся.

Со временем появились Core Web Vitals — набор показателей, по которым оценивается скорость страницы. Не просто скорость от открытия до окончания полной загрузки страницы, а этапы загрузки разных элементов и скорость взаимодействия с пользователем.

Подробности и советы по ускорению сайта в статье: Core Web Vitals и новая метрика INP: ускорение сайта актуальными методами

Эти показатели входят в концепцию ранжирования с учетом удобства страницы, о которой поисковик сообщил в мае 2020 года.

Оценку удобства страниц можно найти в Search Console > Качество > Удобство страниц. Все это не фильтр как таковой, но если не следовать рекомендациям Google, позиции будут низкими. Здесь же видно, что с самого начала существования этой концепции мобилопригодность сайта была очень важна. О ней — в следующем пункте.

Почитать по теме: Как уменьшить вес сайта и ускорить загрузку страниц

Mobilegeddon, предшественник Mobile-first indexing

Задача: дать приоритет мобилопригодным сайтам.

Впервые Google заговорил об удобстве использования сайтов на мобильных устройствах еще в 2015 году. Тогда поисковик сообщал, что будет поднимать в выдаче оптимизированные для мобильных страницы. Это обновление назвали Mobilegeddon, и с него начались изменения, которые привели к индексации с приоритетом мобильных устройств в таком виде, как нам известно сейчас.

На текущий момент Google обходит почти все существующие страницы сайтов мобильным ботом, а новые и недавно попавшие в индекс страницы — только им.

Как поисковик менял алгоритмы для удобства мобильных пользователей:

• Апрель 2015 года — Google запускает обновление, в котором удобство для мобильных устройств используется в качестве фактора ранжирования;

• Ноябрь 2016 года – объявляет об индексации с приоритетом мобильных устройств и тестирует ее на некоторых сайтах;

• Январь 2017 года — Google говорит, что скорость загрузки мобильных страниц будет влиять на их положение в поиске;

• Март 2018 года — сообщает, что после тестирования внедряет индексацию с приоритетом мобильных устройств;

• Декабрь 2018 года — пишет, что большая часть просканированных сайтов теперь индексируются с приоритетом мобильных устройств;

• Июль 2019 г. — индексирование с приоритетом мобильных устройств работает по умолчанию для новых сайтов;

• Март 2020 г. — планирует к сентябрю 2020 года использовать mobile-first index на 100% сайтов;

• Июль 2020 года — Из-за коронавируса откладывает планы до марта 2021 года. Потом откладывает дальше;

• Октябрь 2023 года — Поисковик завершает переход на мобильную индексацию. Из отчетов в Search Console пропадает информация о боте, который сканирует страницу, потому что по умолчанию это теперь мобильный бот. Для небольшого количества сайтов, не совместимых с мобильными устройствами, продолжит работать Googlebot для компьютеров.

Mobile-first indexing нельзя назвать фильтром, но это критично важный фактор при ранжировании. Плохо адаптированные для смартфонов и планшетов страницы не будут попадать в выдачу или окажутся в ее конце. В первую очередь для Google важны корректность работы мобильной версии и скорость загрузки.

Информацию о мобилопригодности сайта можно найти в Search Console > Качество > Удобство страниц.

В разделе с мобильными страницами вы увидите график, показывающий, сколько из них требует улучшений:

Ниже вы найдете список ошибок.

Почитать по теме: Как оптимизировать сайт для мобильных: 14 правил мобилопригодного сайта

Проверить скорость загрузки сайта и отображение на мобильных устройствах можно в нашем бесплатном инструменте.

Колибри (Hummingbird)

Задача: показывать результаты, соответствующие интенту запроса.

Алгоритм Google, который анализировал семантику текстов на сайтах. Он появился в 2013 году, но сейчас его заменили более совершенные алгоритмы. «Колибри» нужен был, чтобы составлять выдачу из ресурсов, которые наиболее полно отвечали потребностям пользователя, понимать его намерение, а не просто предоставлять контент с нужными ключевыми словами.

Это тоже не фильтр в общем понимании, санкций на сайты не накладывал, но те ресурсы, которые не соответствовали, уступали в позициях.

Требования «Колибри» к сайтам:

• Контент адаптирован под пользовательские интенты;

• Учтены разные цели пользователей, разным задачам — разный материал,

• Используются синонимы, формы разговорных запросов, сопутствующие ключи;

• Тексты написаны естественным живым языком, без переспама.

Фред (Google Maccabees)

Задача: борьба с сайтами, созданными исключительно для заработка.

«Фред» — неофициальное название модификации алгоритма 2017 года, которое потом получило имя «Google Maccabees». Обновление выявляло сайты с малоценным контентом, созданные в первую очередь для получения доходов от рекламы в ущерб пользовательскому опыту.

С «Фредом» пришли и санкции для некачественных сайтов, они получили снижение трафика в органике до 90%.

От обновления пострадали сайты:

• Низкого качества с малополезными «водяными» текстами;

• С переоптимизированными короткими текстами;

• С текстами, написанными для роботов, а не для людей;

• С большим количеством баннерной рекламы;

• Копирующие чужой контент.

Обновление не рассматривают как отдельный фильтр — это часть поискового алгоритма. Чтобы не попасть под санкции, нужно продвигать сайт белыми методами, писать тексты для людей, не увлекаться ключами и копированием чужого контента.

Слишком много ссылок сразу (Too many links at once)

Задача: наказание за манипуляции ссылками.

Раньше поисковик накладывал такой фильтр за резкое увеличение ссылочной массы. Google определял манипуляции, если на сайт ссылалось много ресурсов за короткий промежуток времени. Сейчас за качеством ссылок следит «Пингвин» или то, чем он стал в составе основного алгоритма, а «Too many links» как таковой не используется.

У сайтов под таким фильтром были признаки:

• Сильное падение трафика с Google;

• Поисковик игнорирует все новые покупаемые ссылки;

• Уже существующие внешние ссылки практически не влияют на позиции сайта.

Чем моложе сайт, тем выше была вероятность наказания. Для сайта, которому менее полугода, рекомендовали закупать не более 1-2 ссылок в день. Далее, если качественных входящих ссылок достаточно, советовали увеличить их до 3-5.

Еще существует мнение, что можно было попасть под подозрения, если на сайте резко появлялось слишком много страниц. Тогда поисковик применял «Too many pages at once». Но вообще в правилах нет запрета на одновременную публикацию определенного количества страниц.

Битые ссылки (Broken links)

Задача: борьба с сайтами со множеством нерабочих страниц.

Фильтр за битые ссылки — тоже часть поискового алгоритма, который анализирует качество ссылок сайта. Ресурс с большим количеством внутренних ссылок, которые ведут на несуществующие страницы и выдают ошибку 404, получит санкции. Почти во всех случаях сайт теряет позиции в выдаче.

Как снять

• Найдите все битые ссылки на сайте. Как это сделать, читайте в нашей статье о техническом аудите сайта;

• Удалите их или перенаправьте на существующие страницы.

Ссылочная помойка (Links)

Задача: борьба с продажей ссылок.

Он тоже входит в алгоритм, часто накладывается на сайты, которые дешево продают места под ссылки на своих страницах. В зоне риска сайты, на одной странице которых находится более пяти внешних ссылок, особенно если они не связаны тематически. Ссылки перестают передавать вес, сам сайт понижается в поисковой выдаче, а страницы выпадают из индекса.

Как снять

Удалите все нетематические ссылки на сайте, закройте их атрибутом rel=nofollow или настройте переадресацию на страницу, заблокированную в файле robots.txt.

Некоторые оптимизаторы, которые продвигаются под Google, создают целые сетки сайтов для ссылочного продвижения других проектов, они называются сателлитами. Такие сайты легко могут получить санкции, поэтому развивайте сетки, если понимаете, как работает такое продвижение.

Почитать по теме: 10 экспериментов с продвижением сайтами-сателлитами (PBN)

Социтирование (Co-citation linking filter)

Задача: борьба с продажей ссылок.

Накладывается за некачественные доноры или несоответствие тематик донора и акцептора. Если на ваш сайт ссылается ресурс несвязанной тематики, Google переопределяет тематику вашего сайта и сильно понижает в выдаче по основным ключам. Размещайте ссылки только на ресурсах той же или смежной тематики.

«Социтирование» также затрагивает и исходящие ссылки. Принципы алгоритма описали Search Engine Watch:

• Влияние ссылки распространяется не только от донора к акцептору, но и в обратном направлении.

• Исходящие ссылки тоже важны, они помогают пользователям и делают работу с сайтом удобнее.

• Исходящие ссылки должны идти на качественные сайты. Ссылки на некачественный домен дают плохое соседство и могут вредить.

Как снять

Не ссылайтесь на сомнительные и некачественные сайты. Проведите ревизию входящих ссылок, если ссылки с нетематических сайтов арендованные — удалите их. Если вечные — составьте список ссылок в TXT-файл и загрузите его в Disavow Tool. Google перестанет учитывать эти ссылки при индексации сайта, и через некоторое время фильтр будет снят.

Дополнительные результаты (Supplemental results)

Задача: убирать из выдачи сайты с неоригинальным контентом.

Дополнительный индекс называют «Supplemental results», есть жаргонное название «сопли Гугла» из-за схожести по звучанию. Результаты находятся под ссылкой «Показать скрытые результаты». Нельзя сказать, что этот фильтр наказывает страницы санкциями за копипаст или плохое качество. Страницы с повторяющимся контентом могут попасть под «Показать скрытые результаты», но по другим запросам вполне могут выводиться в основном списке выдачи.

Раньше считалось, что его получают сайты с:

• Большим количеством неоригинального контента в рамках всех сайтов, находящихся в индексе Google, и внутри самого сайта;

• Большим количеством страниц на сайте, которые дублируют друг друга;

• Слабой внутренней перелинковкой.

Результат — отсутствие сайта в основном поиске Google. Увидеть сайт можно будет только по ссылке «Показать скрытые результаты»:

-30, -5, -950

Поисковик не объявлял об этих фильтрах официально, но некоторые оптимизаторы выделяли их влияние на сайты с "черными" методами продвижения:

• дорвеи;

• ссылочный спам;

• JavaScript-редиректы;

• клоакинг.

При обнаружении этих методов некоторые оптимизаторы заметили, что Google понижает позиции сайта примерно на 30 или на пять пунктов по большинству запросов, или отправляет на последние места в сотне.

Переоптимизация (Over Optimization)

Задача: борьба со спамом ключевыми словами.

Фильтр накладывается за спам ключевиками, переоптимизацию мета-тегов и изображений. Сейчас он входит в алгоритм «Панда», который отвечает за контент.

В зависимости от степени нарушения, он пессимизирует сайт в выдаче или полностью исключает его из индекса. Можно наблюдать резкое падение трафика и позиций.

Как снять

Устраните избыточные вхождения ключевых слов:

• В текстах. Процент ключевиков не должен превышать 7-8% от общего объема текста. Оптимальным будет показатель 4-5%. Проверить это можно в нашем сервисе для анализа сайтов, раздел «Оптимизация», пункт «Тошнота». Не злоупотребляйте тегами b, strong, em, i;

• В заголовках h1-h6;

• В мета-тегах;

• В Alt и Title изображений.

Алгоритмы Google и их обновления

С тех пор, как «Панда» и «Пингвин» вошли в основной алгоритм, а некоторые совсем фильтры перестали существовать в первоначальном виде, Google выпустил несколько алгоритмов и систем оценки контента, которые не наказывают сайты, но если не не соответствовать их требованиям, высокие позиции занять не получится. По сути все эти системы связаны между собой, так что стоит рассматривать их как одну большую рекомендацию по созданию контента и продвижению сайта.

Система полезного контента

В августе 2022 года поисковик запустил «Систему полезного контента», которая должна была заменить несколько алгоритмов и, как понятно из названия, повышать в выдаче полезный контент и понижать бесполезный. Технология строилась на машинном обучении.

В марте 2023 года в блоге появилась запись о том, что никакой единой системы больше не существует, а для ранжирования Google использует множество разных сигналов и алгоритмов. Обновления назывались Helpful Content Update, теперь они проходят в рамках основного ядра. Несмотря на эти изменения, рекомендации остаются прежними — пишите тексты для людей, а не для поисковых роботов, делайте их полезными и интересными.

Вот несколько моментов, которые нужно знать про оценку контента вне зависимости от того, как называется система поисковика:

• В основном системы ранжирования Google работают на уровне страницы и только некоторые сигналы получают на уровне сайта;

• По причине, указанной выше, на ранжирование качественных страниц не влияют некачественные, если их не слишком много;

• Так как помимо основных обновлений постоянно происходит множество небольших, невозможно сказать, когда сайт восстановит позиции после удаления малополезного контента. Выдача постоянно меняется.

SpamBrain

Систему SpamBrain запустили в 2018 году, она работает на основе искусственного интеллекта. Поисковик утверждает, что SpamBrain ограждает пользователей от малополезного и опасного контента по 99% запросов. Поддерживает множество языков, в том числе и вьетнамский, индонезийский, китайский, турецкий и хинди — их добавили в конце 2023 года.

Заодно в октябре 2023 года обновили форму для сообщений о спаме. Жаловаться тут.

По сути SpamBrain решает ту же задачу, что и ручные санкции, но автоматизированно, без участия живых людей.

Система умеет много:

• Распознавать ссылочный спам, причем находить и покупателей, и продавцов ссылок. Здесь SpamBrain работает по тому же принципу, что и «Пингвин» с 2016 года — не учитывает спамные ссылки при ранжировании сайта, обесценивая усилия, которые вебмастер потратил на их получение;

• Распознавать спам любого вида, размещенный после взлома сайта;

• Находить мошеннический контент, который может навредить пользователям;

• Находить признаки харассмента и требования денег за удаление с сайта информации о человеке;

• Отсеивать фейковые отзывы в бизнес-профилях, которые владельцы компаний пишут сами или заказывают;

• Находить автоматически сгенерированный и бессмысленный контент, созданный для манипуляций результатами выдачи.

Что касается контента, созданного с помощью ИИ, поисковик настаивает, что главное — польза для читателя. Если ИИ был задействован в создании статьи, но она содержательна и интересна, ничего страшного не произойдет.

После последнего масштабного обновления алгоритмов в марте 2024 года появились новые виды спама, с которыми поисковик будет бороться:

• Недопустимое использование домена с истекшим сроком регистрации — охватывает случаи, когда покупают старый домен и меняют тематику сайта, публикуют бесполезный контент;

• Недопустимое масштабирование контента — создание множества страниц с бесполезным контентом с целью манипуляции результатами поиска. Как был создан контент — вручную, с помощью программ для генерации или ИИ, значения не имеет;

• Злоупотребление репутацией сайта — размещение на своем сайте рекламы или чужого контента, не имеющего отношения к основной тематике, ради прибыли.

RankBrain, BERT, MUM

RankBrain запустили в 2015 году, это была первая система глубокого обучения, существовавшая в поиске. Он умеет сопоставлять слова из документов, находящихся в выдаче, и выдавать подходящий ответ даже в том случае, если ключ страницы не содержится в запросе.

В блоге Google есть такой пример:

Если вы ищете «как зовут потребителя на самом высоком уровне пищевой цепи», наши системы, видя эти слова на разных страницах, узнают, что концепция пищевой цепи может иметь отношение к животным, а к потребителям-людям. Понимая и сопоставляя эти слова с соответствующими понятиями, RankBrain понимает, что вы ищете того, кого обычно называют «высшим хищником».

В 2019 году Google выпустил алгоритм BERT, который использует обработку естественного языка (NLP) для анализа запросов пользователей и определения наиболее релевантных ключевых слов и фраз. Его задача — анализировать контекст запроса, понимать интент пользователя, причем в тех случаях, когда в запросах используют длинные разговорные выражения. Например, он обращает внимание на предлоги и союзы, которые могут менять смысл предложений.

Что BERT значит для SEO:

• Тексты должны быть естественными, написанными таким языком, какой используют их читатели;

• Благодаря алгоритму проще оптимизировать сайты под голосовой поиск, где чаще всего используют разговорный язык;

• Больше шансов попасть в быстрые ответы, потому что алгоритм считывает содержание страницы и быстро находит нужный фрагмент, чтобы показать в выдаче.

MUM (Multitask Unified Model) — это алгоритм, выпущенный в 2021 году, который умеет искать информацию не только по словам, но и по изображениям. Основная его задача в том, чтобы не ограничивать пользователей набором ссылок, а предоставлять сложный развернутый ответ на основе информации из разных источников на разных языках.

Эти алгоритмы никак не наказывают сайты, но их работу нужно учитывать при оптимизации контента.

E-E-A-T

Еще одна концепция, которую нужно учитывать — это E-E-A-T, она расшифровывается так:

• Experience — опыт;
• Expertise — экспертность автора;
• Authoritativeness — авторитетность площадки; 
• Trustworthiness — достоверность.

Это не алгоритм и даже не набор факторов ранжирования, а система оценки качества контента. Как говорит поисковик — система сигналов для роботов.

E-E-A-T нацелен на предоставление в поиске качественного и достоверного контента, основанного на подтвержденных данных или личном опыте автора. В каком-то смысле это еще один способ борьбы со спамом.

В ранжировании алгоритму помогают асессоры — живые люди, которые вручную изучают множество сайтов и присваивают им рейтинг в соответствии с правилами поисковика. На результате работы асессоров потом обучают основной алгоритм, который уже поднимает в выдаче сайты, соответствующие E-E-A-T, и снижает некачественные.

Подробно о концепции и работе асессоров: Факторы E-E-A-T Google и три чек-листа для проверки сайтов

Ручные санкции Google

Помимо алгоритмов, у Google есть ряд санкций, которые накладывают вручную, они нацелены на борьбу со спамом. Наказание может распространяться на конкретные URL или на весь сайт сразу.

Если сотрудники поисковика обнаруживают те или иные нарушения, они могут понизить рейтинг сайта или вовсе убрать из выдачи, а вебмастер получит сообщение с причиной наказания в Search Console. Например, в 2020 году они отправили владельцам сайтов 2,9 миллиона уведомлений, связанных с ручными действиями по спаму.

Список действий, которые поисковик считает нарушениями, есть в правилах в отношении спама в справке.

Важный момент: вы не можете закидать Google жалобами на сайт конкурента, чтобы навредить ему. После получения жалобы на какой-то контент сотрудники поисковика не идут удалять его из выдачи, эти сигналы используют для обучения алгоритмов, чтобы они эффективнее находили спам.

Само уведомление о нарушении можно найти в разделе «Меры, принятые вручную».

Здесь же можно отправить запрос на повторную проверку, когда устраните указанные недочеты на сайте.

Как снять ручные санкции Google:

1. Понять, в чем причина и прочитать справку по конкретным санкциям;

2. Устранить проблемы на каждой странице, где они есть — чаще всего в уведомлениях можно найти список URL. Решение проблем только на части страниц не поможет;

3. Удостовериться, что страницы доступны для роботов поисковика: нет авторизации и платной подписки, нет блока в robots.txt и директивы "noindex";

4. Запросить проверку в отчете, перечислив все, что вы сделали для решения проблемы, и предоставив доказательства исправления ошибок.

Конкретных сроков рассмотрения запроса поисковик не называет — от нескольких дней до нескольких недель в зависимости от проблемы.

Разберем подробнее, за что наказывают Google.

Спам, размещенный третьими лицами

Уведомление об этом Google присылает в случае, если считает сайт в целом качественным, но на некоторых страницах обнаруживает спам, который могли разместить третьи лица, например, пользователи.

Как снять:

1. Найдите все страницы, где пользователи могли взаимодействовать с сайтом. Обратите внимание на резкий рост трафика, особенно для новых страниц, и на страницы с нетипичными для вашего сайта ключами;

2. Какой контент нужно найти и удалить:

   1. Любой текст и ссылки, не соответствующие тематике сайта;

   2. Бессмысленный и автоматически сгенерированный текст;

   3. Любой контент от пользователей, похожий на рекламу;

   4. Результаты поиска по сайту, похожие на запросы с целью продвижения стороннего сайта или сервиса.

3. Примите меры в соответствии с рекомендациями Google;

4. Отправьте запрос о повторной проверке и дождитесь результата.

Спам, публикуемый пользователями

Применяется к сайтам, на которых обнаружен спам пользователей в комментариях, блогах, на форумах, обсуждениях и в личных профилях. В отличие от предыдущего пункта, здесь речь идет именно о пользовательской активности. Google может выкинуть из индекса как отдельные страницы, так весь сайт.

Как снять:

1. Выявите и удалите:
   — сообщения и профили, которые похожи на рекламу;
   — сообщения и профили со ссылками не по теме;
   — сообщения и профили пользователей с ненастоящими именами, и ссылками на посторонние сайты;
   — сообщения и профили, предположительно сгенерированные автоматически, а не созданные людьми;
   — спам на страницах сайта. Для этого введите в строку поиска Google оператор site:название сайта + запрос, не имеющий отношения к вашему основному контенту. Пример: site:pr-cy.ru купить слона.

2. Отправьте Google запрос о повторной проверке, и, если нарушений нет, санкции будут сняты.

Спам на сервере бесплатного хостинга

Обычно Google пессимизирует или удаляет из выдачи только отдельные спамные страницы и сайты. Однако если на хостинге таких страниц и сайтов много, он может получить ручные санкции целиком.

Как снять:

1. Ознакомьтесь с рекомендациями Google о том, как защититься от спамеров;

2. Удалите все существующие аккаунты в вашем сервисе, которые содержат спам;

3. Отправьте Google запрос о повторной проверке, и, если нарушений нет, санкции будут сняты.

Проблемы со структурированными данными

Действует с марта 2015 года и применяется алгоритмически и вручную за нарушения в разметке структурированных данных — Schema.org. Когда поисковик накладывает этот фильтр, владельцу сайта приходит сообщение в Google Search Console о том, что он разместил в микроразметке:

• контент, скрытый от пользователей;

• продвигающий нерелевантный контент;

• содержимое, которое нарушает требования к качеству (англ).

Проявляет себя пропаданием из выдачи всех расширенных сниппетов сайта и проблемами с индексацией размеченного контента, которые можно отследить в отчете «Структурированные данные» в Search Console.

Как снять:

• Убедитесь, что микроразметка на страницах соответствует основным требованиям Google к качеству сайтов. С основными требованиями поисковой системы можно ознакомиться в справке Google по структурированным данным;

• Проанализируйте статистику отчёта «Структурированные данные» в Search Console. Все проблемные страницы проверьте Инструментом проверки расширенных результатов от Google или Валидатором разметки schema.org

• Устраните обнаруженные ошибки;

• Если на сайте применяется формат микроразметки JSON-LD, то используйте JSON-LD Playground tool для проверки кода. Подробнее о JSON-LD — в справке Яндекса;

• Ручные санкции Google снимает также только вручную. После устранения ошибок подайте заявку в службу поддержки веб-мастеров Google на повторное рассмотрение. Подробности о процедуре подачи заявки в справке Google. Срок рассмотрения заявки в среднем составляет около недели.

Искусственные ссылки на сайт

Санкция начинается с получения сообщения в Google Search Console о том, что ваш сайт подозревается в использовании искусственных входящих ссылок. Меры наказания приводят к падению трафика и позиций в Google. Снимаются также, как и ручные санкции за «Пингвин».

Как снять:

Снимается фильтр аналогично «Пингвину», после этого нужно запросить проверку в отчете о мерах, принятых вручную.

Искусственные ссылки с сайта

Эти ручные меры накладываются в случае обнаружения поисковиком ссылок на вашем сайте, которые были размещены для влияния на позиции в выдаче.

Эффект от применения этой санкции: ссылки перестают передавать вес, сам сайт понижается в поисковой выдаче, а страницы выпадают из индекса.

Как снять:

1. Удалите все нетематические ссылки на сайте, либо закройте их атрибутом rel=nofollow, либо настройте переадресацию на страницу, заблокированную в файле robots.txt;

2. Отправьте Google запрос о повторной проверке, и, если нарушений нет, санкции будут сняты.

Бесполезный контент

Применяется, если на вашем сайте обнаружены некачественные страницы или мало оригинального контента:

• Автоматически созданный контент;

• Бесполезные партнерские страницы;

• Плагиат.

Приводит к выпадению отдельных страниц или всего сайта из поисковой выдачи.

Как снять:

1. Проверьте, не дублирует ли контент на вашем сайте другие материалы в Интернете;

2. Проверьте страницы с партнерскими ссылками на информативность;

3. Убедитесь, что на сайте нет дорвеев и автоматически сгенерированных страниц;

4. Удалите такой контент или измените его, чтобы сделать полезным для пользователей;

5. Отправьте Google запрос о повторной проверке, и, если нарушений нет, санкции будут сняты.

Маскировка и/или скрытая переадресация

Применяется, если пользователям вашего сайта показываются не те страницы, которые видят роботы Google, или если происходит переадресация пользователей на страницу, которая недоступна для поискового робота.

Внимание! Для контента с платным доступом используйте специальную микроразметку. В противном случае Google может расценить такой контент как замаскированный.

Как снять:

1. Используйте инструмент Просмотреть как Googlebot в Search Console, чтобы проверить наличие контента, который виден только поисковому роботу, но не пользователям сайта;

2. Убедитесь, что на страницах нет текста такого же цвета, как фон;

3. Проверьте, нет ли на страницах текста, скрытого с помощью CSS;

4. Удалите весь подобный текст или измените его так, чтобы он был виден и пользователям, и поисковому роботу;

5. Проверьте наличие и удалите с сайта все перенаправления по JavaScript;

6. Отправьте Google запрос о повторной проверке, и, если нарушений нет, санкции будут сняты.

Скрытая переадресация для мобильных пользователей — тоже нарушение, за которое последуют ручные меры. К примеру, если пользователь с детсктопа переходит по ссылке на один сайт, а с мобильного по этой же ссылке ему открывается другой ресурс.

Как снять:

1. Уберите переадресацию.

2. Проверьте, на всех ли страницах решена проблема.

3. Когда скрытой переадресации не будет ни на одной странице, запросите проверку.

Если переадресацию настраивали не вы, а взломщики, проверьте статус сайта через отчет Проблемы безопасности. Убедитесь, что на сайте нет сторонних скриптов: поочередно удаляйте скрипты и проверяйте страницы с мобильного или через эмулятор.

Агрессивный спам

Применяется к сайтам, если есть признаки агрессивного спама: публикация автоматически созданного бессмысленного текста, ворованного или замаскированного контента. Фильтр приводит к выпадению отдельных страниц или всего сайта из поисковой выдачи.

Как снять:

1. Удалите контент, который нарушает рекомендации Google для веб-мастеров;

2. Отправьте Google запрос о повторной проверке, и, если нарушений нет, санкции будут сняты.

Замаскированные изображения

Накладывается, если изображения в результатах поиска Google по вашему сайту не соответствуют изображениям, которые на нем размещены. Такие изображения будут удалены из поиска по картинкам.

Примеры маскировки изображений:

• Размещение в Google изображений, которые закрыты другим элементом, например текстовым блоком.

• Использование решений, которые показывают поисковому роботу и посетителям разные картинки.

• Переадресация пользователей по ссылке "Просмотреть изображение" в результатах поиска, на страницу, которая не содержит нужный графический файл.

Как снять:

1. Настройте сайт так, чтобы пользователям показывались одни и те же изображения на веб-страницах и в результатах поиска. Иногда маскировка связана с использованием инструментов, которые блокируют вставку прямых ссылок. Чтобы обнаружить такие неполадки, просмотрите код сервера и плагины на сайте.

2. Отправьте Google запрос о повторной проверке, и, если нарушений нет, санкции будут сняты.

Скрытый текст и/или избыточное количество ключевых слов

Санкция накладывается, если на страницах вашего сайта есть скрытый текст или избыточное количество ключевых слов. Фильтр приводит к выпадению отдельных страниц или всего сайта из поисковой выдачи.

Как снять:

1. Используйте инструмент Просмотреть как Googlebot в Search Console, чтобы проверить наличие контента, который виден только поисковому роботу, но не пользователям сайта;

2. Убедитесь, что на страницах нет текста такого же цвета, как фон;

3. Проверьте, нет ли на страницах текста, скрытого с помощью CSS.

4. Удалите весь подобный текст или измените его так, чтобы он был виден и пользователям, и поисковому роботу;

5. Устраните избыточные вхождения ключевых слов, аналогично тому, как это делается при наложении «Переоптимизации»;

6. Отправьте Google запрос о повторной проверке, и, если нарушений нет, санкции будут сняты.

Несоответствие AMP-версии канонической

Если вы используете AMP-страницы, то на канонической и AMP должно быть одно и то же содержание. Различия в формулировках текста допускаются, но тема страницы и функции должны быть одинаковыми. В противном случае поисковик может принять меры: вместо ускоренных страниц будут доступны канонические.

Как снять:

1. Устраните нарушение: AMP-страница должна ссылаться на соответствующую каноническую, а их содержание совпадать.

2. С помощью инструмента проверки URL убедитесь, что страницы выглядят одинаково для пользователей и ботов.

3. Проверьте файл robots.txt: если на одной из них файл блокирует важные ресурсы, будет несоответствие.

4. Запросите проверку.

Проблемы с безопасностью сайта

В отличие от «Мер, принятых вручную», в этот раздел приходят уведомления о событиях, которые могут навредить самому сайту и его посетителям. Что это может быть:

• Любой контент, который кто-то разместил на сайте в результате взлома;

• Контент, который вводит посетителей в заблуждение и подталкивает их к совершению опасных действий;

• Вредоносное ПО, которое может навредить посетителям сайта и их устройствам, например, украсть данные или устроить заражение.

Сообщения о санкциях прилетают в этот раздел, если поисковик заподозрит странную активность. Механизм работы такой же, как и в случае санкций за спам — изучить письмо, устранить проблему, собрать доказательства ее устранения и отправить запрос на проверку.

Идеальный вариант — сразу выстраивать работу по продвижению и оптимизации так, чтобы не нарушать правила и не попадать под санкции. Для этого нужно следить за обновлениями у поисковиков и не пытаться их обмануть.