SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Боты атакуют

anatolls anatolls  
12
  06.10.2023 21:53       1 276    

Всем привет, есть небольшой городской сайт-статейник на ВордПресс. По liveinternet трафик 200-300 уников в день, но в метрике уже несколько месяцев около 4000 в день (с роботами 8000). Весь этот трафик идет с разных ip и на разные страницы с разных источников. Все боты заходят с устройств android, подскажите как от них избавиться?


Ответы на пост (20) Написать ответ
eprst eprst
12
06.10.2023 22:42
cloudflare в помощь
1
Решение
Sensoe Sensoe
62
08.10.2023 01:08
поддерживаю
0
vvvlad77 vvvlad77
78
07.10.2023 13:34
Я лично оставил только liveinternet и не нарадуюсь))
0
Telron Telron
0
07.10.2023 14:29
Что у них общего?
0
мага осетинский мага осетинский
74
07.10.2023 17:51
я поставил фильтр в метрике и через пару дней роботы пропали )
0
postest postest
20
08.10.2023 21:04
Через метатеги можно вручную ограничить сайт от ботов 
0
anatolls anatolls
12
23.12.2023 21:19
как, если они все с устройств android?
0
havenrock havenrock
53
09.10.2023 00:10
1. Подключаем сайт к Cloudlfare
2. Вводим в гугле "cloudflare настройка от ботов"
3. Создаём правила по отсечению ботов
4. Радуемся

Главное не отсечь нормальных юзеров. У меня настройка снизила процент роботности с 50 до 15-20, что уже более-менее, но подрос процент отказов.
0
Sensoe Sensoe
62
09.10.2023 18:11
есть же еще полезные роботы, они для индексации нужны
с ними тоже желательно не перестараться
1
havenrock havenrock
53
10.10.2023 05:05
У них есть отдельное правило Known Bots, в которое они включают хороших роботов. Не знаю, насколько обширна их база, но у меня пока никаких проблем. a6223f40814272760f858cbfc9b7144c.jpg
0
Sensoe Sensoe
62
17.11.2023 20:15
Надо постоянно мониторить обновления, и чтобы инструмент поспевал
мне вручную поэтому как-то проще
тем более, новый отчет по файлу роботс появился у гугла 
0
мага осетинский мага осетинский
74
09.10.2023 18:29
Считаю что нет необходимости бороться с ботами, так если у вас релевантных заголовок и страница в топе, то никакое накручивание пф неопустит ее. Плюс - тама тоже не дураки сидят,  и давно уже научились определять ботов. У меня бывает часто такое, что метрика обрезала заход клиента как робота, но звонит живой человек.
1
havenrock havenrock
53
10.10.2023 05:12
Не согласен. На одном форуме тоже задавался вопросом о наплыве ботов, предварительно переговорив с ТП Яндекса. На форуме мне ответили примерно так:

"В техподдержке всем сначала говорят, что все впорядке и они видят ботов и это ни на что не влияет. Потом блокируют сайт в РСЯ, а местный бот Роман Кузьминский говорит, что оказывается влияет и блокировать роботов нужно было изначально самим."
Роман Кузьминский - это представитель яши на том форуме, как я понял)

Ну и собственно, ботов нужно лупить 100%. Мало того, что в итоге это ни к чему хорошему не приведёт, дак ещё и нагрузку на хост создают нехилую.
0
havenrock havenrock
53
10.10.2023 05:14
А этим "не дуракам" абсолютно плевать на то, что придётся положить ваш сайт. Один из миллионов - Не ощутимо для них.
Ботов они видят, но как они узнают, что это не владелец сайта специально их крутит? За такое уже пинок под зад дают.
0
Sensoe Sensoe
62
25.12.2023 16:58
не понимаю их логику: вам не нужно беспокоиться из-за ботов, но если мы их увидим и забаним вас, то сорян
так что ли?
0
anatolls anatolls
12
17.11.2023 16:11
Я бы не переживал, если бы не заблокировали в РСЯ из-за них не создавали большую награду на хостинг. В общем 99% посещений были с ipv6, решил просто заблокировать все ipv6 в htaccess и сразу посещаемость в метрике сравнялась с liveinternet и нагрузка упала)
0
anatolls anatolls
12
17.11.2023 16:14
Пока боты еще ломятся, но получают ответ 403, с каждым днем их все меньше и меньше в логах.
0
LS LS
122
19.11.2023 13:40
Плагин All In One WP Security дает защиту от ботов и их блокировку? Или это туфта?
0
anatolls anatolls
12
30.11.2023 23:54
он блокирует явных ботов, по user agent, это можно сделать и самостоятельно через htaccees
0
postest postest
20
20.11.2023 14:12
В Cloudflare можно:
  • блокировать вредоносных ботов, осуществляющих атаки, обнаруженные правилами WAF (например, SQL-инъекции),
  • блокировать вредоносных ботов, которые ранее осуществляли атаки или отправляли спам (на основе их репутации IP),
  • блокировать вредоносных ботов, участвующих в DDoS-атаках,
  • ограничивать скорость ботов и пользователей с использованием функции ограничения скорости,
  • обнаруживать и вносить в белый список безопасных / известных ботов (cf.client.bot), таких как Google.
1