Robots.txt

LightCarrier1 LightCarrier1  
11
  25.04.2019 12:01       659     Помощь  

Добрый день вот код в robots.txt.
Вопрос заключается в том нужно ли указывать User-agent: Google/Yandex/Twitter и т.д и дублировать код или правильно же оставить так?

 

User-agent: *

Disallow: /config.php

Disallow: /library/

Disallow: /index.php/mail/

Disallow: /index.php/search/

Disallow: /index.php/error/

Host: https://site.ru

Sitemap: https://site.ru/sitemap.xml


Ответы на пост (3) Написать ответ
minsky minsky
111
25.04.2019 13:24
Если для всех ПС одинаковый, то не нужно
1
Решение
LightCarrier1 LightCarrier1
11
25.04.2019 13:45
Cпасибо
0
vituson vituson
2351
25.04.2019 17:04
Директиву host роботы не понимают, Яндекс от нее отказался год-полтора назад - убирайте. Пустой строкой отделяется только правило sitemap.... между остальными строками пустых строк быть не должно - исправляйте.
0