SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Плохие боты. Как от них избавиться?

ltybcrf ltybcrf  
35
  17.02.2018 00:50       1 352    
как защититься от ГС Semrush?...их боты не дают покоя не первый год...роботс и аштиаксесс не помогает.

Ответы на пост (11) Написать ответ
vituson vituson
2363
17.02.2018 06:41
RewriteEngine on
RewriteCond %{HTTP_REFERER} semalt\.com [NC,OR]
RewriteCond %{HTTP_REFERER} success-seo\.com [NC,OR]
RewriteCond %{HTTP_REFERER} best-seo-solution\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-your-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} best-seo-offer\.com [NC,OR]
RewriteCond %{HTTP_REFERER} rankings-analytics\.com [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*MJ12bot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Java [OR]
RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} GrapeshotCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} larbin [OR]
RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} libwww [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} Soup [OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]
RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} DomainCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} ltx71 [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteCond %{HTTP_USER_AGENT} Exabot [OR]
RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]
RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} Nutch [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot-media [OR]
RewriteCond %{HTTP_USER_AGENT} Toweya.com [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp [OR]
RewriteCond %{HTTP_USER_AGENT} Zeus
RewriteRule ^(.*)$ – [F,L]
0
snwebdev snwebdev
139
17.02.2018 15:01
Дополню https://pastebin.com/WwtcYwVr
0
Яков Шлиман Яков Шлиман
28
17.02.2018 08:53
меняйте хостинг,есть такие ушлые хостоведы ,которые для того ,что бы клиенты перешли на дорогой тариф загружают сайт и процессор сервера ботами.
0
vituson vituson
2363
17.02.2018 08:54
Бред сивой кобылы.
0
Яков Шлиман Яков Шлиман
28
17.02.2018 11:28
ну если бред,то сидите и не жалуйтесь,а все это ограничения в файлах роботс и хаткис ничем не помогут,просо это приведёт к тому что сайт станет выдавать с ошибками и придёт письмо с гугла и яндекса об этом.
0
snwebdev snwebdev
139
17.02.2018 14:59
не пишите бредятину
0
Roman2002 Roman2002
220
17.02.2018 11:06
Блин, сколько лет владею сайтами, никогда боты никаких проблем не создавали.
Что-то я делаю не так?!
0
Krauzer Krauzer
2093
17.02.2018 11:09
Та же фигня. А как почитаешь, так у каждого второго, вплоть до сайта с недельным возрастом и тремя публикациями, боты атакуют, конкуренты атакуют, хостинг вредит.)))
0
Alximik Alximik
12
17.02.2018 13:04
Раньше не смотрел логи, теперь с год, наверное, проверяю логи и видно, что к сайту часто обращаются некие боты и переxоды с "левыx" сайтов. Правда, вреда от ниx не заметил, так как нагрузки особой не создают.

Наверное, и вы не смотрите часто логи сервера, потому и не замечаете.
0
Roman2002 Roman2002
220
17.02.2018 14:59
Смотрю логи, постоянно сканируют сайты на наличие wp-login.php, wp-admin и т.п., но какой-либо нагрузки это все не создает)
0
vipuslugi vipuslugi
67
17.02.2018 11:11
логи смотреть надо, этот бот и картинки иногда качает...ngnix есть?
0