SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Зарегистрироваться Войти
Q&A SEO
  1. Сообщество
  2. Вопросы и ответы
  3. Как заблокировать бота?

Как заблокировать бота?

ltybcrf ltybcrf  
35
  10.07.2017 23:35       3 312    
Скажите как заблокировать эту гадость можно? уже надоел не могу никак заблочить его...((помогите.
compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/
0

Ответы на пост (17) Написать ответ
Быстрая регистрация для ответа Войти
alexakap alexakap
325
11.07.2017 00:47
В robots.txt добавить:

User-agent: AhrefsBot
Disallow: /

На роботс он не реагирует, но пропишите

В .htaccess прописать:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule ^.* - [F,L]

Это может помочь
1
Решение
ltybcrf ltybcrf
35
11.07.2017 16:34
А в роботс это просто ниже добавить под существующим правилом? user...
0
ltybcrf ltybcrf
35
11.07.2017 16:37
User-agent: AhrefsBot
Disallow: /
больше ничего писать не надо?просто disallow: / или после слеша что то писать еще?
0
ltybcrf ltybcrf
35
10.07.2017 23:41
постоянно меняет айпи...при этом...
0
garik1331 garik1331
1434
10.07.2017 23:43
Забей это анализатор одной компашки
0
ltybcrf ltybcrf
35
10.07.2017 23:48
вот никто не поверит...зашел я значит на сайт к ним так и ввел по названию,в чат им написал хрень какую то...смотрю в логах у меня через время что я написал им в чате отображается это как так???? и что за компашка?они достали уже блин...по 3000 прямых переходов валят!((
0
garik1331 garik1331
1434
10.07.2017 23:50
Не понял что и где отображается
А компашка даже очень известная
0
ltybcrf ltybcrf
35
10.07.2017 23:49
и почему не блочится он?
0
garik1331 garik1331
1434
10.07.2017 23:50
Не там блочишь
0
ltybcrf ltybcrf
35
10.07.2017 23:55
а где блочить в роботс? и как?
0
garik1331 garik1331
1434
10.07.2017 23:57
Я по этому не специалист, но вроде как в панельке хостинга
0
ltybcrf ltybcrf
35
10.07.2017 23:58
я написал у них на сайте Ahrefs....в окне поддержки...через время когда смотрел логи у себя то что им писал оказалось у меня в логах каким то образом
0
garik1331 garik1331
1434
11.07.2017 00:04
Хрень какая то, там что ясновидящие маги что ли сидят ахаха
0
ltybcrf ltybcrf
35
11.07.2017 00:07
серьезно...сам не понимаю...
0
ltybcrf ltybcrf
35
11.07.2017 11:28
да что за хрень такая то!...что значит он не реагирует на айпи на роботс на запрет...ну держитесь я сйчас буду их сайт тоже хреначить ...
0
izbyshki_ru izbyshki_ru
77
11.07.2017 15:33
Советую блокировать командами iptables
iptables -A INPUT -s 199.168.137.210 -j DROP

Для того чтоб заблокировать подсеть надо использовать следующую команду
iptables -i eth1 -A INPUT -s 192.168.1.0/24 -j DROP
0
abzaloff abzaloff
1
13.04.2018 17:11
в .htaccess пропишите правило для вредных ботов:

# BEGIN Блокировщик вредных ботов
SetEnvIfNoCase User-Agent "Abonti|aggregator|AhrefsBot|asterias|BDCbot|BLEXBot|BuiltBotTough|Bullseye|BunnySlippers|ca\-crawler|CCBot|Cegbfeieh|CheeseBot|CherryPicker|CopyRightCheck|cosmos|Crescent|discobot|DittoSpyder|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Fasterfox|FeedBooster|Foobot|Genieo|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|ieautodiscovery|InfoNaviRobot|IstellaBot|Java/1\.|JennyBot|k2spider|Kenjin Spider|Keyword Density/0\.9|larbin|LexiBot|libWeb|libwww|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LNSpiderguy|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|moget|MSIECrawler|NetAnts|NICErsPRO|Niki\-Bot|NPBot|Nutch|Offline Explorer|Openfind|panscient\.com|PHP/5\.\{|ProPowerBot/2\.14|ProWebWalker|Python\-urllib|QueryN Metasearch|RepoMonkey|SemrushBot|SISTRIX|sitecheck\.Internetseer\.com|SiteSnagger|SnapPreviewBot|Sogou|SpankBot|spanner|spbot|Spinn3r|suzuran|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|turingos|TurnitinBot|UbiCrawler|UnisterBot|URLy Warning|VCI|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Xenu|Zao|Zeus|ZyBORG|coccoc|Incutio|lmspider|memoryBot|SemrushBot|serf|Unknown|uptime files" bad_bot
Deny from env=bad_bot
# END Блокировщик вредных ботов
0
Быстрая регистрация для ответа Войти

Похожие посты

Анализ сайта

Поможем улучшить ваш сайт.