Правильно ли составил robots.txt?

serega-pominow serega-pominow   22.11.2016 16:28   564  
Правильно ли составил  robots.txt? Нет ничего лишнего ? 

User-agent: Yandex 
Disallow: /*print 
Disallow: /user/ 
Disallow: /backup/ 
Disallow: /engine/ 
Disallow: /language/ 
Disallow: /templates/ 
Disallow: /upgrade/ 
Disallow: /uploads/ 
Disallow: /autobackup.php 
Disallow: /admin.php 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=register 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?subaction=newposts 
Disallow: /?do=lastcomments 
Disallow: /statistics.html 
Disallow: /page/ 
Disallow: /tags 

User-agent: * 
Disallow: /*print 
Disallow: /user/ 
Disallow: /backup/ 
Disallow: /engine/ 
Disallow: /language/ 
Disallow: /templates/ 
Disallow: /upgrade/ 
Disallow: /uploads/ 
Disallow: /autobackup.php 
Disallow: /admin.php 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=register 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?subaction=newposts 
Disallow: /?do=lastcomments 
Disallow: /statistics.html 
Disallow: /page/ 
Disallow: /tags 

Host: сайт 
Sitemap: http://сайт/sitemap.xml

Ответы на вопрос (8) Написать ответ
vituson vituson   22.11.2016 19:39
Из того, что было:

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*?do=*
Disallow: /statistics.html
Disallow: /page/
Disallow: /tags
Host: сайт

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*?do=*
Disallow: /statistics.html
Disallow: /page/
Disallow: /tags

Sitemap: http://сайт/sitemap.xml
0
Решение
serega-pominow serega-pominow   22.11.2016 20:08
А разве Host указывать надо не вместе с Sitemap ?
0
tryam tryam   22.11.2016 18:15
Можно вот так прописать /*?* и тогда все урл со знаком вопроса не будут индексироваться. А вообще роботс это как отпечаток пальца, для каждого сайта свой.
0
w3bank w3bank   22.11.2016 18:51
по примеру автора нельзя ответить правильно или нет, мы же не знаем что он хотел от этого роботса =)))
может хотел одно, а сделал другое.
тут нужна расшифровка каждой его настройки что он хотел от нее )))
0
Не понимаю зачем все пишут отдельно для Yandex robots.txt ? User-agent: * относится к всем поисковым системам.
0
serega-pominow serega-pominow   23.11.2016 08:49
По идее к яндексу отдельно обращаться надо
0
Не надо к нему отдельно обращаться. У меня стоит только User-agent: * и все нормально.
0
serega-pominow serega-pominow   23.11.2016 20:24
Ну многие пишут что надо
0

Войдите, чтобы написать ответ
Вход Регистрация

C ТОП50 в ТОП5 с помощью поведенческих факторов в Яндексе и Google.