Wordpress и robots.txt. Как лучше сделать?

Как вы можете улучшить параметры, если в природе не существует документации.
Есть только блоггеры с советами придуманными с воздуха ...
Все данные засекречены, а вы пытаетесь выдуманное кем-то менять на своем сайте.
Не занимайтесь х@@ней, лучше пишите тексты сами, со смыслом, на каждый написанный
текст ставьте до 30 ссылок на вашу статью, потом далее пишите новую статью ...
Более мудрить не нужно, а вы как делаете, наклепали тысячи статей, а потом бежите прогоны
делать на главную, а что толку, а толку не будет ... я уже не говорю о х@рне которую
вы задаете ...

Вы пьяны? Прочитайте, про что спросил автор, и что вы написали.

В вордпресс страницы page практически всегда закрываются от индексации указанным выше способом. Но, чтобы страницы не выпадывали из индекса, нужно, чтобы были открыты к индексации category, либо tag (но что-то одно). То есть чтобы поисковый робот по ссылкам на страницах мог переходить вглубь сайта на более старые статьи.

Можете сделать по-своему, открыть page, закрыть tag и category, но эффект будет хуже, так как для category можно задать описание и их можно продвигать в ПС (именно категории или теги), а со страницами такого уже не выйдет, т.к. их содержание будет меняться.

Вот роботс одного моего сайта (включено ЧПУ):

User-agent: Googlebot
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-content/cache
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /comments
Disallow: /index.php?s=
Disallow: /?p=*
Disallow: /*?replytocom
Disallow: /tag/
Disallow: /page/
Disallow: /201*/
Disallow: /author
Disallow: /out/
Disallow: /poisk/
Disallow: /privacy-policy/
Disallow: /obratnaya-svyaz/
Disallow: /pollsarchive


User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /comments
Disallow: /index.php?s=
Disallow: /*?*
Disallow: /*?
Disallow: /*?replytocom
Disallow: /tag/
Disallow: /page/
Disallow: /201*/
Disallow: /author
Disallow: /out/
Disallow: /poisk/
Disallow: /privacy-policy/
Disallow: /obratnaya-svyaz/
Disallow: /pollsarchive

User-agent: Yandex
Crawl-delay: 5
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /comments
Disallow: /index.php?s=
Disallow: /*?*
Disallow: /*?
Disallow: /*?replytocom
Disallow: /tag/
Disallow: /page/
Disallow: /201*/
Disallow: /author
Disallow: /out/
Disallow: /poisk/
Disallow: /privacy-policy/
Disallow: /obratnaya-svyaz/
Disallow: /pollsarchive
Host: site.ru

User-agent: Googlebot-Image
Disallow:
Allow: /*

User-agent: Mediapartners-Google
Disallow:
Allow: /*

Sitemap: http://site.ru/sitemap.xml

И забыл уточнить, если категории, страницы или теги будут открыты для ПС, то в этом случае текст целиком без тега More - это плохо. Лучше все же сделать вывод анонсов, а не целых статей.

У вас с robots.txt вообще-то дружбы нет.
Проясните мне, зачем строчки:
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments

Если их заменит одна:
Disallow: /wp-

Или:
Disallow: /*?*
Disallow: /*?

Ну и те. пе. Переписывать нужно.

По сабж: "3 полных статьи" на странице = дубликат опубликованных на ней статей. Ну и всё?.. Имеем дубли. Эт не катастрофа, но и хорошего немного.

Вообще-то - стоит просмотреть все страницы в индексе и "сносить" весь мусор в robots.txt Только - адекватно, а не "как есть".

Удачной оптимизации!