Юзер-агент бота. Как забанить?
Доброго времени суток. Необходимо гарантированно забанить бота, приходящего на сайт для парсинга статей.
По журналу хостера имя бота: Unknown robot (identified by empty user agent string)
так и нужно писать? или как еще найти?
для надежности забанил ip адрес сайта, на котором появляются верхние части статей с моего сайта (до читать далее). Прикол в том, что при клике идет переход на полную статью на моем сайте. Может наоборот я должен приветствовать таких ботов?)
И вообще, может где есть список нежелательных ботов, которых стоит сразу блокировать?
Можешь поместить в файл .htaccess что-то типа такого
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Unknown\ robot\ \(identified\ by\ empty\ user\ agent\ string\) [NC]
RewriteRule .* - [F,L]
ЗЫ: хотел минус поставить за пост, но тут только плюсовать похоже можно.
Какой-то бот залип на твоём сайте и делает тебе бесплатную рекламу.
Посещалка есть с того сайта, где анонсы размещаются?
Если да, то я бы не беспокоился. А может и радовался бы даже.
что естественно - то не безобразно!))