Подскажите, хорошо ли составлен файл robots?

Я сделал так https://pmwot.ru/robots.txt

Disallow: /*? можно убрать, оставить только Disallow: /*?*
* закрывает любую последовательность, в т.ч. и пустую.

p.s. Но надо еще раз правила перечитать

Host прилепите к блоку правил Яндекс. Другие пауки эту директиву не понимают.

Откровенно говоря чем он будет короче, тем лучше.

И вообще один дурак сделал его портянкой остальные берут с него пример. На ворпрессе можно отрегулировать все плагином.

Почему Вы считаете, что чем короче тем лучше описание файла?

У вас включено ЧПУ, надо добавить вариант с вопросительным знаком, плюс добавить несколько правил. Также "сайтмап" надо отделить пустой строкой, т.к. иначе он у вас "для всех кроме яндекса". Ниже более правильный вариант.

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Disallow: /*?replytocom
Disallow: /?p=*
Disallow: /*?replytocom
Disallow: /tag/
Disallow: /page/
Disallow: /201*/
Disallow: /author
Disallow: /wp-json/
Host: firstconsul.ru

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Disallow: /*?replytocom
Disallow: /?p=*
Disallow: /*?replytocom
Disallow: /tag/
Disallow: /page/
Disallow: /201*/
Disallow: /author
Disallow: /wp-json/

Sitemap: http://firstconsul.ru/sitemap.xml

одно лишнее затесалось - Disallow: /*?replytocom

Если теги нужно индексировать то правило запрета индексации тегов, конечно, убрать.

Спасибо большое.

Пожалуйста.

что означает Disallow: /201*/

Disallow: /201*/

Запрет индексации архивов записей с 2010 по 2019 год.

Можно через xenu прогнать. Она покажет все ?, p, s и т.д.

1. "s" не покажет, это страницы поиска.
2. WP - хорошо изученная CMS, и для нее есть более-менее стандартный роботс. Изобретать ничего не нужно.

Кстати если прописать пароль и логин от ftp чтоб мусор убрать с сайта ??? Я боюсь что уведут ??))))

Xenu боюсь пароль с логином от FTP давать Вдруг уведут ????)))))