SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Зарегистрироваться Войти
Q&A SEO
  1. Сообщество
  2. Вопросы и ответы
  3. crawl-delay: 2 - Что за предупреждение google о robot.txt?

crawl-delay: 2 - Что за предупреждение google о robot.txt?

Станислав Станислав  
25
  03.09.2016 07:34       11 738    
Проверял файл робота в Яндексе и гугле.  Яндекс  пишет, что все  хорошо, а гугл  написал, что ошибок нет, но вот   есть 2 предупреждения и подсветил 2 строки    Crawl-Delay: 2   
Что  это такое и как то может исправить  можно или  это вообще не нужно?
0

Ответы на пост (14) Написать ответ
Быстрая регистрация для ответа Войти
vituson vituson
2363
03.09.2016 10:59
Окончательный вариант, но нужно проверить, лишнее убрано, вариации адресов заменены "звездочкой".

User-Agent: Yandex
Crawl-Delay: 2
Disallow: /ajax/
Disallow: /cart/
Disallow: /register/
Disallow: /register
Disallow: /auth/
Disallow: /shop/
Disallow: /notification_request/
Disallow: /articles/root
Disallow: /guestbook/?page=1
Disallow: /blog/
Disallow: /pricelist/
Disallow: /index.php?ukey=*
Disallow: /auxpage_cjc-1295/
Disallow: /auxpage_melanotan-analiz/
Disallow: /category/*/?sort=name&direction=DESC
Disallow: /category/*/?sort=Price&direction=ASC
Disallow: /category/*/?sort=name&direction=ASC
Disallow: /category/*/?sort=name&direction=DESC
Disallow: /articles/root
Disallow: /articles/stati/agag-melatonin
Disallow: /articles/stati/gormon-rosta-chast-1
Disallow: /articles/stati/prolongirovannye-reaktivi/offset*/
Disallow: /articles/root/melanotan-2-1_4/offset15/
Disallow: /articles/stati/offset25/
Disallow: /articles/stati/peptidnye-primesi/
Disallow: /product/765/
Disallow: /product/747/
Disallow: /product/hladogent/
Disallow: /product/aniracetam-aniracetam-30gr/reviews/
Disallow: /published/SC/html/scripts/callbackhandlers/loginza.php
Host: pepzakaz.ru

User-Agent: *
Disallow: /ajax/
Disallow: /cart/
Disallow: /register/
Disallow: /register
Disallow: /auth/
Disallow: /shop/
Disallow: /notification_request/
Disallow: /articles/root
Disallow: /guestbook/?page=1
Disallow: /blog/
Disallow: /pricelist/
Disallow: /index.php?ukey=*
Disallow: /auxpage_cjc-1295/
Disallow: /auxpage_melanotan-analiz/
Disallow: /category/*/?sort=name&direction=DESC
Disallow: /category/*/?sort=Price&direction=ASC
Disallow: /category/*/?sort=name&direction=ASC
Disallow: /category/*/?sort=name&direction=DESC
Disallow: /articles/root
Disallow: /articles/stati/agag-melatonin
Disallow: /articles/stati/gormon-rosta-chast-1
Disallow: /articles/stati/prolongirovannye-reaktivi/offset*/
Disallow: /articles/root/melanotan-2-1_4/offset15/
Disallow: /articles/stati/offset25/
Disallow: /articles/stati/peptidnye-primesi/
Disallow: /product/765/
Disallow: /product/747/
Disallow: /product/hladogent/
Disallow: /product/aniracetam-aniracetam-30gr/reviews/
Disallow: /published/SC/html/scripts/callbackhandlers/loginza.php
Allow: *.js
Allow: *.css

Sitemap: http://www.pepzakaz.ru/sitemap.xml
0
Решение
Станислав Станислав
25
03.09.2016 11:01
во! какой красивый робот стал, а не то как у меня мусорка была и постоянно приходилось удалять хлам, а тут надо было всего то сделать, что бы этот хлам если и появлялся, то не индексировался.
0
vituson vituson
2363
03.09.2016 08:30
Crawl-Delay - это задержка между сканированием страниц сайта в целях снижения нагрузки на сайт. Яндекс "понимает" эту инструкцию, Гугл - нет. Поэтому в правилах роботс.тхт должны быть, как минимум, 2 блока, один "для всех", второй для Яндекса. Во втором также можно указать правило "host", т.к. только Яндекс его "понимает".
1
Станислав Станислав
25
03.09.2016 10:30
В данный момент у меня 2 блока User-Agent: Yandex и Host: pepzakaz.ru
в обоих есть crawl-delay: 2 , но только в блоке для яндекса есть Host: pepzakaz.ru
Получается с блока Host: pepzakaz.ru убрать crawl-delay: 2 и добавить Host: pepzakaz.ru ?
0
sharkson sharkson
82
03.09.2016 14:11
Должен быть один блок.
0
Станислав Станислав
25
03.09.2016 10:31
ах блин, опечатался. второй блок User-Agent: *
0
Станислав Станислав
25
03.09.2016 10:43
я добавил в оба блока Host: pepzakaz.ru и вылазит ошибка , что Найдено несколько директив Host
0
vituson vituson
2363
03.09.2016 10:50
Вот ваш правильный роботс (ниже). Где точки - это "ваши правила", весь файл по размеру в сообщение не влазит. Crawl-Delay и Host указывается только для Яндекса по 1 разу. Пустых строк между правилами для одного паука быть не должно. Пустая строка допускается только между блоками для разных пауков. Адрес сайтмап указывается 1 раз, отделяется пустой строкой.

User-Agent: Yandex
Crawl-Delay: 2
Disallow: /ajax/
Disallow: /cart/
.
.
.
.
Disallow: /pricelist/
Disallow: /published/SC/html/scripts/callbackhandlers/loginza.php
Host: pepzakaz.ru

User-Agent: *
Disallow: /ajax/
Disallow: /cart/
Disallow: /register/
.
.
.
.
Disallow: /blog/99/
Disallow: /index.php?ukey=pricelist
Disallow: /pricelist/
Disallow: /published/SC/html/scripts/callbackhandlers/loginza.php
Allow: *.js
Allow: *.css

Sitemap: http://www.pepzakaz.ru/sitemap.xml


Вместо закрытия кучи категорий достаточно закрыть так:

Disallow: /category/*/?sort=name&direction=DESC
Disallow: /category/*/?sort=Price&direction=DESC
Disallow: /category/*/?sort=Price&direction=ASC

а правило

Disallow: /blog/

закрывает весь каталог /blog/ и вот в этом

Disallow: /blog/100/
Disallow: /blog/101/
Disallow: /blog/103/
Disallow: /blog/104/
Disallow: /blog/105/
Disallow: /blog/106/
Disallow: /blog/27/
Disallow: /blog/39/
Disallow: /blog/78/
Disallow: /blog/85/

уже надобности нет, это лишнее.
1
Станислав Станислав
25
03.09.2016 10:51
большое спасибо!
0
vituson vituson
2363
03.09.2016 11:03
Вот эту конструкцию

Disallow: /articles/stati/prolongirovannye-reaktivi/offset*/
Disallow: /articles/root/melanotan-2-1_4/offset15/
Disallow: /articles/stati/offset25/

можно заменить одной строкой

Disallow: */offset*/
1
vituson vituson
2363
03.09.2016 11:07
Эта конструкция

Disallow: /category/*/?sort=name&direction=DESC
Disallow: /category/*/?sort=Price&direction=DESC
Disallow: /category/*/?sort=Price&direction=ASC

заменяется одной строкой

Disallow: */?sort=*
0
sharkson sharkson
82
03.09.2016 14:09
Сделайте правила универсальными для любого бота.

Замените все блоки одним, в котором вместо имени бота напишите зведочку, так:

User-Agent: *

Оставьте один host

crawl-delay - показывает задержку между визитами роботов в секундах.
Можно удалить. Можно оставить.
Если удалите, готовьтесь к варианту, что поисковые боты взбесятся и толпами повалят на сайт - как результат возрастет нагрузка.
1
intimvalentin intimvalentin
0
14.08.2018 19:44
Здравствуйте! Подскажите, нужно ли исправлять предупреждения (напротив каждой строки стоит предупреждение) в robots.txt:
User-agent: *
Disallow: /my/
Crawl-delay: 3
Sitemap: https://intimvalentin.ru/sitemap.1976346.xml.gz

User-Agent: Yandex
Allow: /
Disallow: /my/
Crawl-delay: 3
Host: https://intimvalentin.ru
Sitemap: https://intimvalentin.ru/sitemap.1976346.xml.gz

User-agent: msnbot
Crawl-delay: 10

User-agent: MJ12bot
Crawl-delay: 20

User-agent: AhrefsBot
Disallow: /
0
SMMFAST SMMFAST
0
29.11.2019 22:53
Каждый раз надо себе что-то делать самому.
0
Быстрая регистрация для ответа Войти

Похожие посты

Анализ сайта

Поможем улучшить ваш сайт.