оцените robots.txt

AB-team AB-team   23.04.2012 15:04   360  
поставил новый файл роботс.тхт но гугл ругается, мол закрыты от индексации важные страницы
вот сам текс файла
User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /addnews.html
Sitemap: сайт/sitemap.xml
Host: сайт

DLE 9.5

Ответы на вопрос (8) Написать ответ
23neon23 23neon23   23.04.2012 15:11
Disallow: /admin.php - Лучше удалить. По ней тогда любой идиот догадается где у вас лежит админка.
Disallow: /upgrade/ - эта папка должна быть удалена после установки/обновления dle.
1
Splin Splin   23.04.2012 15:12
Лично я не вижу важных страниц, закрытых от индексации. Хотя в роботс плохо разбираюсь.
0
v3663 v3663   23.04.2012 15:48
интересно, как это гугл определил, что закрыты от индексации именно важные страницы? да ещё и ругался?
1
KartingProfi KartingProfi   23.04.2012 16:34
Может, Гугл, это фамилия друга. Всё проще, чем все думают.
0
vadimts vadimts   23.04.2012 17:06
саппорт Гугла видимо негодуя написал
0
vituson vituson   23.04.2012 18:24
строчку sitemap - отделить пустой строкой (в самый низ её), а директиву host убрать, т.к. гугл её не понимает. host - для яндекса, для яндекса нужно переписать все правила и указать хост для него. что-то вроде:

User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /addnews.html

User-agent: Yandex
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /addnews.html
Host: сайт

Sitemap: сайт/sitemap.xml
0
vituson vituson   23.04.2012 18:26
Для яндекса ещё время задержки можно добавить после 1-й строчки, чтобы не нагружал хостинг (если страниц много)

User-agent: Yandex
Crawl-delay: 5
...
1
Asius Asius   29.07.2012 16:49
вроде верно vituson сделал. но результат обычно через месяц после изменений будет
0

Войдите, чтобы написать ответ
Вход Регистрация

Самая большая база ключей ваших конкурентов. Создавай эффективные сайты, используя лучшую базу в рунете!