Боты атакуют

поддерживаю

Я лично оставил только liveinternet и не нарадуюсь))

Что у них общего?

я поставил фильтр в метрике и через пару дней роботы пропали )

Через метатеги можно вручную ограничить сайт от ботов 

как, если они все с устройств android?

1. Подключаем сайт к Cloudlfare
2. Вводим в гугле "cloudflare настройка от ботов"
3. Создаём правила по отсечению ботов
4. Радуемся

Главное не отсечь нормальных юзеров. У меня настройка снизила процент роботности с 50 до 15-20, что уже более-менее, но подрос процент отказов.

есть же еще полезные роботы, они для индексации нужны
с ними тоже желательно не перестараться

У них есть отдельное правило Known Bots, в которое они включают хороших роботов. Не знаю, насколько обширна их база, но у меня пока никаких проблем.

Надо постоянно мониторить обновления, и чтобы инструмент поспевал
мне вручную поэтому как-то проще
тем более, новый отчет по файлу роботс появился у гугла 

Считаю что нет необходимости бороться с ботами, так если у вас релевантных заголовок и страница в топе, то никакое накручивание пф неопустит ее. Плюс - тама тоже не дураки сидят,  и давно уже научились определять ботов. У меня бывает часто такое, что метрика обрезала заход клиента как робота, но звонит живой человек.

Не согласен. На одном форуме тоже задавался вопросом о наплыве ботов, предварительно переговорив с ТП Яндекса. На форуме мне ответили примерно так:

"В техподдержке всем сначала говорят, что все впорядке и они видят ботов и это ни на что не влияет. Потом блокируют сайт в РСЯ, а местный бот Роман Кузьминский говорит, что оказывается влияет и блокировать роботов нужно было изначально самим."
Роман Кузьминский - это представитель яши на том форуме, как я понял)

Ну и собственно, ботов нужно лупить 100%. Мало того, что в итоге это ни к чему хорошему не приведёт, дак ещё и нагрузку на хост создают нехилую.

А этим "не дуракам" абсолютно плевать на то, что придётся положить ваш сайт. Один из миллионов - Не ощутимо для них.
Ботов они видят, но как они узнают, что это не владелец сайта специально их крутит? За такое уже пинок под зад дают.

не понимаю их логику: вам не нужно беспокоиться из-за ботов, но если мы их увидим и забаним вас, то сорян
так что ли?

Я бы не переживал, если бы не заблокировали в РСЯ из-за них не создавали большую награду на хостинг. В общем 99% посещений были с ipv6, решил просто заблокировать все ipv6 в htaccess и сразу посещаемость в метрике сравнялась с liveinternet и нагрузка упала)

Пока боты еще ломятся, но получают ответ 403, с каждым днем их все меньше и меньше в логах.

Плагин All In One WP Security дает защиту от ботов и их блокировку? Или это туфта?

он блокирует явных ботов, по user agent, это можно сделать и самостоятельно через htaccees

В Cloudflare можно:

• блокировать вредоносных ботов, осуществляющих атаки, обнаруженные правилами WAF (например, SQL-инъекции),
• блокировать вредоносных ботов, которые ранее осуществляли атаки или отправляли спам (на основе их репутации IP),
• блокировать вредоносных ботов, участвующих в DDoS-атаках,
• ограничивать скорость ботов и пользователей с использованием функции ограничения скорости,
• обнаруживать и вносить в белый список безопасных / известных ботов (cf.client.bot), таких как Google.