SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Правильно ли составил robots.txt?

serega-pominow serega-pominow  
25
  22.11.2016 16:28       3 699    
Правильно ли составил  robots.txt? Нет ничего лишнего ? 

User-agent: Yandex 
Disallow: /*print 
Disallow: /user/ 
Disallow: /backup/ 
Disallow: /engine/ 
Disallow: /language/ 
Disallow: /templates/ 
Disallow: /upgrade/ 
Disallow: /uploads/ 
Disallow: /autobackup.php 
Disallow: /admin.php 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=register 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?subaction=newposts 
Disallow: /?do=lastcomments 
Disallow: /statistics.html 
Disallow: /page/ 
Disallow: /tags 

User-agent: * 
Disallow: /*print 
Disallow: /user/ 
Disallow: /backup/ 
Disallow: /engine/ 
Disallow: /language/ 
Disallow: /templates/ 
Disallow: /upgrade/ 
Disallow: /uploads/ 
Disallow: /autobackup.php 
Disallow: /admin.php 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=register 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?subaction=newposts 
Disallow: /?do=lastcomments 
Disallow: /statistics.html 
Disallow: /page/ 
Disallow: /tags 

Host: сайт 
Sitemap: http://сайт/sitemap.xml

Ответы на пост (8) Написать ответ
vituson vituson
2363
22.11.2016 19:39
Из того, что было:

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*?do=*
Disallow: /statistics.html
Disallow: /page/
Disallow: /tags
Host: сайт

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*?do=*
Disallow: /statistics.html
Disallow: /page/
Disallow: /tags

Sitemap: http://сайт/sitemap.xml
0
Решение
serega-pominow serega-pominow
25
22.11.2016 20:08
А разве Host указывать надо не вместе с Sitemap ?
0
tryam tryam
138
22.11.2016 18:15
Можно вот так прописать /*?* и тогда все урл со знаком вопроса не будут индексироваться. А вообще роботс это как отпечаток пальца, для каждого сайта свой.
0
w3bank w3bank
91
22.11.2016 18:51
по примеру автора нельзя ответить правильно или нет, мы же не знаем что он хотел от этого роботса =)))
может хотел одно, а сделал другое.
тут нужна расшифровка каждой его настройки что он хотел от нее )))
0
Не понимаю зачем все пишут отдельно для Yandex robots.txt ? User-agent: * относится к всем поисковым системам.
0
serega-pominow serega-pominow
25
23.11.2016 08:49
По идее к яндексу отдельно обращаться надо
0
Не надо к нему отдельно обращаться. У меня стоит только User-agent: * и все нормально.
0
serega-pominow serega-pominow
25
23.11.2016 20:24
Ну многие пишут что надо
0