1. Директиву Host не понимает ни один поисковый робот.
2. Вот это - Disallow: /*?* можно включать, если на сайте включено ЧПУ, а не короткие урлы (надо знать, как настроено у ТС, иначе будет неиндексация страниц).
3. Правило сайтмап отделяется пустой строкой от остальных правил. Два одинаковых блока для разных ПС не нужны.
4. Гугл может попросить "открыть" папку wp-includes.
5. Составитель роботса из вас так себе.
Robots.txt как бы каждый под себя настраивает, как ему нужно. У меня вот к примеру такой User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* Disallow: /tag Disallow: /page/* Disallow: /author Disallow: /2018 Disallow: /2019
Советую после добавления выбранного Вами robots.txt заглянуть в search console, отправить этот роботс потом пойти проверить страницы сайта заново как из видит гугл бот, в особенности мобильную версию сайта. Если будут проблемы с мобильной версией, советую посмотреть что не так и исправить, ибо могут позиции просесть.
2. Вот это - Disallow: /*?* можно включать, если на сайте включено ЧПУ, а не короткие урлы (надо знать, как настроено у ТС, иначе будет неиндексация страниц).
3. Правило сайтмап отделяется пустой строкой от остальных правил. Два одинаковых блока для разных ПС не нужны.
4. Гугл может попросить "открыть" папку wp-includes.
5. Составитель роботса из вас так себе.
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page/*
Disallow: /author
Disallow: /2018
Disallow: /2019
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page/*
Disallow: /author
Disallow: /2018
Disallow: /2019
Sitemap: http://site.ru/sitemap.xml.gz
Sitemap: http://site.ru/sitemap.xml
Host: site.ru