SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Как скопировать сайт ?

paoloarmani paoloarmani  
48
  12.09.2019 13:45       1 115    

Сайт защищен от копирования, какие еще есть способы?

Файл robots.txt запрещен для индексации следующим ботам: 

User-agent: IsraBot
User-agent: Orthogaffe
User-agent: UbiCrawler
User-agent: DOC
User-agent: Zao
User-agent: sitecheck.internetseer.com
User-agent: Zealbot
User-agent: MSIECrawler
User-agent: SiteSnagger
User-agent: WebStripper
User-agent: WebCopier
User-agent: Fetch
User-agent: Offline Explorer
User-agent: Teleport
User-agent: TeleportPro
User-agent: WebZIP
User-agent: linko
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: Xenu
User-agent: larbin
User-agent: libwww
User-agent: ZyBORG
User-agent: Download Ninja
User-agent: wget
User-agent: grub-client
User-agent: k2spider
User-agent: NPBot
User-agent: WebReaper
User-agent: MauiBot (crawler.feedback+wc@gmail.com)
User-agent: MegaIndex.ru
User-agent: Semrushbot-SA
User-agent: Semrushbot
User-agent: HTTrack
User-agent: Linguee
User-agent: proximic
User-agent: BLEXBot
User-agent: GrapeshotCrawler
User-agent: Mappy
User-agent: MJ12bot
User-agent: bidswitchbot
User-agent: SMTBot
User-agent: ltx71
User-agent: integralads
User-agent: jet-bot
User-agent: trendictionbot


Ответы на пост (10) Написать ответ
rohanaro rohanaro
99
12.09.2019 14:26
похоже на нормальный сайт наткнулись))) респект тому товарищу кто им занимается
4
paoloarmani paoloarmani
48
12.09.2019 14:41
Спасибо большое за комплимент, продолжаю искать способы защиты от самого себя))
2
rohanaro rohanaro
99
12.09.2019 15:02
тогда вот вам еще до кучи http://kell4.ru/antirobots.txt
1
Решение
paoloarmani paoloarmani
48
12.09.2019 16:27
Спасибо))
0
Sheyb Sheyb
39
12.09.2019 18:13
О, а можно поподробнее о том как защитить сайт от копирования!?) И помогут ли какие-то из этих способов, чтобы не копипастили статьи автоматическими скриптами, а то я уже замахался заносить айпишники ботов, которые оставляют ещё комментарий в моих статьях со ссылкой на свою. Правда каким-то образом они эти боты с этих же айпишников и дальше продолжают воровать и оставлять комменты, кладя болт на всевозможные блокировки по IP, чудасия какая-то...
0
paoloarmani paoloarmani
48
12.09.2019 19:29
У меня на всех страницах установлен тег от копирования вручную  body oncopy=return false http://qaru.site/questions/207750/prevent-copying-text-in-web-page и Файл robots.txt https://bluesmenchannel.com/robots.txt
0
paoloarmani paoloarmani
48
12.09.2019 19:34
Помогут ли Вам данные действия, точно не могу сказать
0
Sheyb Sheyb
39
12.09.2019 22:05
Спасибо, попробую данные способы, может поможет.
0
paoloarmani paoloarmani
48
12.09.2019 23:34
Попробуйте, если не забудете напишите пожалуйста сюда о результатах, помогло или нет. Спасибо
0
wprazor wprazor
519
12.09.2019 15:07
Что мешает изменить useragent на Googlebot и выкачать сайт? Можно еще добавить скрытый url для ботов, если по нему перейти то php скрипт сразу заносит твой IP в бан, если это не поисковик)
1