Помогите разобраться в Robot txt

Да, все верно. Там ведь нет контента.

так все статьи и записи, я ж когда их редактирую в админке, они разве не в этой теме хранятся?

в папке с темой хранятся изображения, шаблоны и т.п. Все данные, в частности статьи хранятся исключительно в базе данных, ее то вы и редактируете из админки

В папке темы хранятся файлы, которые используются при динамическом построении отдельных страниц сайта. А страницы собираются, в свою очередь, из файлов темы и записей, которые хранятся в базе данных.

То есть мухи - отдельно, котлеты - отдельно: тема - отдельно, записи - отдельно.
Запрещаем индексирование файлов темы, но разрешаем индексирование записей.

По-моему всё верно. Вам ведь важно сохранить контент (текст статей и так далее), который в БД заносится. Файлы темы хранятся отдельно же. Если вы смените тему, контент останется, значит темы отдельно хранятся от текста. Моё мнение такое)

Я пару дней назад убрал строки
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */comments
и после этого сайт в поиске опустился на днище. Сейчас вернул обратно эти строки, надеюсь, что и ситуация исправится к лучшему