Robots.txt
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Host: bigalax.wt9.ru
Sitemap: http://bigalax.wt9.ru/sitemap.xml
вот мой robots.txt но в гугле при анализе многие сообщения запрещены к индексации. какую строчку убрать чтобы все сообщения индексировались???
Disallow: */*/trackback
Disallow: */*/feed/*/
точно не то
достаточно
Disallow: */trackback
Disallow: */feed
Существует ещё анализатор у яндекса. Первым делом нужно пользоваться им, проверять самостоятельно.
Не помню всех тонкостей синтаксиса, но меня смущают вот эти места: */*/
И не надо дублировать)))