Запрет в robots.txt

Сразу

а почему не реагирует эта с...ка?(((

Зачем в роботс, добавь в htaccess:
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule ^.* - [F,L]

не реагирует

задолбали эти боты меня уже...

Вы уже втрорую тему создаете про "бота"... Уже пометили решенным.
Что, опять?.. :)

В теории, когда бот создает избытучную нагрузку на сервер (а чем он еще мешать-то может), то хостер принимает "свои меры", на-автомате. Вредоносные и надоедливые "гады" есть в "черных списках" и каким-то образом (мне неизвестным) - "отсекаются" на уровне сервера.

Ну, особо непонятивых "нарушителей тишины", - "баним" по ip Он (ip), естественно, меняется, поэтому блокируем сразу "по маске" весь сервер или группы серверов. Иногда под "блок" попадают и юзвери, ну... что ж поделать.
Смотрим http://www.whois-service.ru/lookup/ владельца ip и, если "зверь" не МТС - блочим по ip "пачками" в .htaccess :)

У меня, однако, этот процесс идет "на-автомате", но можно и ручками. Нарушил "статус-кво" - в баню! :) Всё строго.
(но вообще, чаще, меня "страхует" хостер, им "лишенго" не надо.)

такие боты не особо слушаются robots.txt если нету проблем с хостингом то не обращайте внимания на него.

Народ,а если вообще не прописывать запрет для ботов ни в роботсе ни в аксесс? сильно замучают?

понизить смогут впринципе?или только нагрузка на сервак?

А какая "нагрузка" вас еще интересует?.. Другой - нет.

ну я к тому,что например вот они заходят,сканят сканят,оставляют периодически спам в виде заказов,правда давно не оставляли уже,но все же...мне кажется в какой то степени деляют по 4000 прямых на сайт,что будет расцениваться может как отказ...снял я все запреты сейчас такие как RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
итд...вот сейчас вальнут мне кажется....((будет опять как раньше по 50000 прямых...что скажете народ?

может запретить все кроме Я,Г итд...так не проще?

Как "просто - заходят, оставляют"?

Ну ладно. Что-то уже наскучило.
Есть логи, есть ip. Запрет в .htaccess конкретный, типо"

deny from 5.9.60.247
deny from 83.69.0.45

и пр. по списку. У меня там тысяча позиций, в "списке".
Если не "работает" - меняйте хостера. Сервер не настроен, хостер - лохотрон.

Всё просто.

// какая-то тема, не о чем.

а запрет на бота делали у себя? в роботсе или аксесс?

При чем туn вообще robots.txt (который закрывает от индекчации страницы от ПС, которые правила и установили).
.htaccess - зарещает "посетителей" принудительно, а не добровольно.

на сайте ahrefs откуда этот бот идет говорят чтобы в роботсе прописал disallow/....итд...

какая чушь...
Заприте их ip на .htaccess. В чем проблема?

Собстно... я эот уже сказал. Похоже, топики имеют иную задачу :)
Ну-ну.

меняют айпи они постоянно разные...читал в инете многие с ними сталкивались с козлами этими...