подскажите пожалуста, у меня на вордпресс все страницы статичные ,роботс.тхт был обычный из пары строчек ,добавил расширенный вот такой,для блога User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: мой сайт.com
Sitemap:
http://мой сайт/sitemap.xml
Sitemap:
http://мой сайт.com/sitemap.xml.gz вначале вылетела половина страниц с окончанием /feed/, а потом и все остальные до нуля, ссылки чпу на сайте