Правильно ли составил robots.txt?

serega-pominow serega-pominow   22.11.2016 16:28   371  
Правильно ли составил  robots.txt? Нет ничего лишнего ? 

User-agent: Yandex 
Disallow: /*print 
Disallow: /user/ 
Disallow: /backup/ 
Disallow: /engine/ 
Disallow: /language/ 
Disallow: /templates/ 
Disallow: /upgrade/ 
Disallow: /uploads/ 
Disallow: /autobackup.php 
Disallow: /admin.php 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=register 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?subaction=newposts 
Disallow: /?do=lastcomments 
Disallow: /statistics.html 
Disallow: /page/ 
Disallow: /tags 

User-agent: * 
Disallow: /*print 
Disallow: /user/ 
Disallow: /backup/ 
Disallow: /engine/ 
Disallow: /language/ 
Disallow: /templates/ 
Disallow: /upgrade/ 
Disallow: /uploads/ 
Disallow: /autobackup.php 
Disallow: /admin.php 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=register 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?subaction=newposts 
Disallow: /?do=lastcomments 
Disallow: /statistics.html 
Disallow: /page/ 
Disallow: /tags 

Host: сайт 
Sitemap: http://сайт/sitemap.xml
0
vituson
0
vituson   22.11.2016 19:39
Из того, что было:

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*?do=*
Disallow: /statistics.html
Disallow: /page/
Disallow: /tags
Host: сайт

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*?do=*
Disallow: /statistics.html
Disallow: /page/
Disallow: /tags

Sitemap: http://сайт/sitemap.xml
Решение
vituson
serega-pominow   22.11.2016 20:08  
А разве Host указывать надо не вместе с Sitemap ?
tryam
0
tryam   22.11.2016 18:15
Можно вот так прописать /*?* и тогда все урл со знаком вопроса не будут индексироваться. А вообще роботс это как отпечаток пальца, для каждого сайта свой.
tryam
w3bank   22.11.2016 18:51  
по примеру автора нельзя ответить правильно или нет, мы же не знаем что он хотел от этого роботса =)))
может хотел одно, а сделал другое.
тут нужна расшифровка каждой его настройки что он хотел от нее )))
Владислав Владислав
0
Не понимаю зачем все пишут отдельно для Yandex robots.txt ? User-agent: * относится к всем поисковым системам.
Владислав Владислав
serega-pominow   23.11.2016 08:49  
По идее к яндексу отдельно обращаться надо
Владислав Владислав
0
Не надо к нему отдельно обращаться. У меня стоит только User-agent: * и все нормально.
Владислав Владислав
serega-pominow   23.11.2016 20:24  
Ну многие пишут что надо

Войдите, чтобы написать ответ
Вход Регистрация


Garant.deals
Гарант сделок, всего 5% от суммы сделки.

Реклама здесь


Нужен тИЦ? Закажи ручное размещение вечных трастовых ссылок с тИЦ от 10! Эффект гарантирован. 450 руб.