SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Юзер-агент бота. Как забанить?

basher basher  
2
  01.10.2016 12:58       2 205    
Доброго времени суток. Необходимо гарантированно забанить бота, приходящего на сайт для парсинга статей.

По журналу хостера имя бота: Unknown robot (identified by empty user agent string)

так и нужно писать? или как еще найти?

для надежности забанил ip адрес сайта, на котором появляются верхние части статей с моего сайта (до читать далее). Прикол в том, что при клике идет переход на полную статью на моем сайте. Может наоборот я должен приветствовать таких ботов?)

И вообще, может где есть список нежелательных ботов, которых стоит сразу блокировать?

Ответы на пост (9) Написать ответ
imvise imvise
30
01.10.2016 13:22
По IP его сервера
1
basher basher
2
02.10.2016 16:13
ну именно это я уже и сделал изначально. Видимо правильно решил.
0
sabinich sabinich
1
01.10.2016 15:17
По идее любой хостер может заблокировать доступ к твоему сайту для любого посетителя по любому параметру, по которому попросить.
Можешь поместить в файл .htaccess что-то типа такого

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Unknown\ robot\ \(identified\ by\ empty\ user\ agent\ string\) [NC]
RewriteRule .* - [F,L]
1
ivankmvv ivankmvv
3
01.10.2016 16:20
А можно заказать услуги специалиста здесь https://kwork.ru/?ref=14898 подобная работа будет стоить всего 500 рублей
2
tryam tryam
138
01.10.2016 17:15
Нихира ты заломил за одну строчку в файле...
0
basher basher
2
02.10.2016 16:19
и правда смешно 500р за одну строчку, тем более пихать партнерку какой-то левоватой биржи фриланса (ну не могут различные услуги стоить одинаково)
ЗЫ: хотел минус поставить за пост, но тут только плюсовать похоже можно.
0
kalitta kalitta
80
01.10.2016 16:32
А смысл блокировки?..
Какой-то бот залип на твоём сайте и делает тебе бесплатную рекламу.
Посещалка есть с того сайта, где анонсы размещаются?
Если да, то я бы не беспокоился. А может и радовался бы даже.
1
basher basher
2
02.10.2016 16:12
Ну с одной стороны дополнительные ссылки на сайт, а с другой реклама так себе... по посетителям - 2 человека за неделю :)
0
kalitta kalitta
80
02.10.2016 16:35
basher,
что естественно - то не безобразно!))
0