Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.
Сайт защищен от копирования, какие еще есть способы?
Файл robots.txt запрещен для индексации следующим ботам:
User-agent: IsraBot
User-agent: Orthogaffe
User-agent: UbiCrawler
User-agent: DOC
User-agent: Zao
User-agent: sitecheck.internetseer.com
User-agent: Zealbot
User-agent: MSIECrawler
User-agent: SiteSnagger
User-agent: WebStripper
User-agent: WebCopier
User-agent: Fetch
User-agent: Offline Explorer
User-agent: Teleport
User-agent: TeleportPro
User-agent: WebZIP
User-agent: linko
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: Xenu
User-agent: larbin
User-agent: libwww
User-agent: ZyBORG
User-agent: Download Ninja
User-agent: wget
User-agent: grub-client
User-agent: k2spider
User-agent: NPBot
User-agent: WebReaper
User-agent: MauiBot (crawler.feedback+wc@gmail.com)
User-agent: MegaIndex.ru
User-agent: Semrushbot-SA
User-agent: Semrushbot
User-agent: HTTrack
User-agent: Linguee
User-agent: proximic
User-agent: BLEXBot
User-agent: GrapeshotCrawler
User-agent: Mappy
User-agent: MJ12bot
User-agent: bidswitchbot
User-agent: SMTBot
User-agent: ltx71
User-agent: integralads
User-agent: jet-bot
User-agent: trendictionbot
Поможем улучшить ваш сайт.