SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

оцените robots.txt

AB-team AB-team  
25
  23.04.2012 15:04       3 764    
поставил новый файл роботс.тхт но гугл ругается, мол закрыты от индексации важные страницы
вот сам текс файла
User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /addnews.html
Sitemap: сайт/sitemap.xml
Host: сайт

DLE 9.5

Ответы на пост (8) Написать ответ
23neon23 23neon23
53
23.04.2012 15:11
Disallow: /admin.php - Лучше удалить. По ней тогда любой идиот догадается где у вас лежит админка.
Disallow: /upgrade/ - эта папка должна быть удалена после установки/обновления dle.
1
Splin Splin
8
23.04.2012 15:12
Лично я не вижу важных страниц, закрытых от индексации. Хотя в роботс плохо разбираюсь.
0
v3663 v3663
399
23.04.2012 15:48
интересно, как это гугл определил, что закрыты от индексации именно важные страницы? да ещё и ругался?
1
KartingProfi KartingProfi
66
23.04.2012 16:34
Может, Гугл, это фамилия друга. Всё проще, чем все думают.
0
vadimts vadimts
358
23.04.2012 17:06
саппорт Гугла видимо негодуя написал
0
vituson vituson
2363
23.04.2012 18:24
строчку sitemap - отделить пустой строкой (в самый низ её), а директиву host убрать, т.к. гугл её не понимает. host - для яндекса, для яндекса нужно переписать все правила и указать хост для него. что-то вроде:

User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /addnews.html

User-agent: Yandex
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /addnews.html
Host: сайт

Sitemap: сайт/sitemap.xml
0
vituson vituson
2363
23.04.2012 18:26
Для яндекса ещё время задержки можно добавить после 1-й строчки, чтобы не нагружал хостинг (если страниц много)

User-agent: Yandex
Crawl-delay: 5
...
1
Asius Asius
0
29.07.2012 16:49
вроде верно vituson сделал. но результат обычно через месяц после изменений будет
0