SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Зарегистрироваться Войти
Q&A SEO
  1. Сообщество
  2. Вопросы и ответы
  3. Как вам robot.txt? Кино сайт на DLE

Как вам robot.txt? Кино сайт на DLE

gent gent  
25
  29.03.2019 16:23       1 519     
User-agent: *
Disallow: /engine/
Allow: /engine/classes/js/
Allow: /engine/data/emoticons/

User-agent: Googlebot
Disallow: /engine/
Allow: /engine/classes/js/
Allow: /engine/data/emoticons/

User-agent: Yandex
Disallow: /engine/
Allow: /engine/classes/js/
Allow: /engine/data/emoticons/

Host: https://......
Sitemap: https://...../sitemap.xml
0

Ответы на пост (4) Написать ответ
Быстрая регистрация для ответа Войти
vituson vituson
2363
29.03.2019 17:17
Раньше директиву "host" понимал только Яндекс, но и он уже больше года ее не использует. Бесполезная строка в вашем роботсе.
4
Решение
PR-CY PR-CY
277
29.03.2019 17:01
Если у вас чистый DLE, то не нужно дублировать правила.
Правильный robots.txt для DLE:
User-agent: *
Disallow: /engine/
Allow: /engine/classes/js/
Allow: /engine/data/emoticons/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Также директива «Host:» указывается без http(s). 
0
shark5510 shark5510
73
29.03.2019 17:10
почему без http(s), если основной домен в ssl сертификатом? Поисковики как раз рекомендуют указывать https в Host
1
PR-CY PR-CY
277
29.03.2019 17:12
Верно, ошибся. Верны только два варианта:
1. Host: https://site.ru (если домен с https)
2. Host: site.ru (если домен без https)
2

Похожие посты

Анализ сайта

Поможем улучшить ваш сайт.