Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.
есть разные версии как написать файл robots, а что если просто ставить так?
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php sitemap: http://мой-сайт.ру/sitemap_index.xml
Поможем улучшить ваш сайт.
Можно и так, почему нет?
Роботс - индивидуальная штука.