SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Предупреждение гугла

Oves Ovesoff Oves Ovesoff  
3
  15.09.2019 16:48       1 221    

Здравствуйте. Пришло предупреждение от гугл. Не понимаю почему.  В предупреждении написано - Search console проиндексировал страничку mysjite.ru/wp-admin/nav-menus.php несмотря на запрет в файле роботс:

И тут - открываем файл роботс и видим:

User-agent: *
Crawl-delay: 12
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: *
Crawl-delay: 12

User-agent: Mail.ru
Disallow: /*

Никаких запретов на индексацию nav-menus.php там нет. Вопрос - что за?

c3e4deab557307a2f60d1cf56ea0cd53.jpg





Ответы на пост (8) Написать ответ
fotokrek fotokrek
47
15.09.2019 17:13
Во первых: Crawl-delay: 12 должен быть один. Во вторых: Вот это User-agent: * Crawl-delay: 12 замените на это User-agent: Yandex Crawl-delay: 12 ибо директиву Crawl-delay: кушает только Яндекс, остальные боты не понимают её. Поэтому (*) здесь неуместна во-о-бще. Ну и 12 - это, как по мне, слишком... может двоечки будет достаточно?
1
Oves Ovesoff Oves Ovesoff
3
15.09.2019 17:50
Спасибо!
0
vituson vituson
2363
15.09.2019 19:11
Яндекс давно эту директиву "не кушает", интервал переобхода регулируется в кабинете вебмастера.
0
fotokrek fotokrek
47
15.09.2019 22:40
Вот что гласит первоисточник: "Если сервер сильно нагружен и не успевает отрабатывать запросы робота, воспользуйтесь директивой Crawl-delay."
https://yandex.ru/support/webm...
0
Рукапча Бот Рукапча Бот
170
15.09.2019 17:16
Здравствуйте  вы закрыли папку wp-admin от индексаций. А файл nav-menus.php как раз находится в папке wp-admin 
Disallow: /wp-admin/
Директива Disallow запрещает индексацию 


1
fotokrek fotokrek
47
15.09.2019 17:20
Директива "Allow" открывает доступ к файлу "admin-ajax.php" в закрытой директории "wp-admin".
1
Oves Ovesoff Oves Ovesoff
3
15.09.2019 17:50
Спасибо!
0
Oves Ovesoff Oves Ovesoff
3
15.09.2019 17:50
Спасибо!
0