Предупреждение гугла

Sergei Lomakin Sergei Lomakin   15.09.2019 16:48   425  

Здравствуйте. Пришло предупреждение от гугл. Не понимаю почему.  В предупреждении написано - Search console проиндексировал страничку mysjite.ru/wp-admin/nav-menus.php несмотря на запрет в файле роботс:

И тут - открываем файл роботс и видим:

User-agent: *
Crawl-delay: 12
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: *
Crawl-delay: 12

User-agent: Mail.ru
Disallow: /*

Никаких запретов на индексацию nav-menus.php там нет. Вопрос - что за?

c3e4deab557307a2f60d1cf56ea0cd53.jpg





Ответы на вопрос (8) Написать ответ
fotokrek fotokrek   15.09.2019 17:13
Во первых: Crawl-delay: 12 должен быть один. Во вторых: Вот это User-agent: * Crawl-delay: 12 замените на это User-agent: Yandex Crawl-delay: 12 ибо директиву Crawl-delay: кушает только Яндекс, остальные боты не понимают её. Поэтому (*) здесь неуместна во-о-бще. Ну и 12 - это, как по мне, слишком... может двоечки будет достаточно?
1
Sergei Lomakin Sergei Lomakin   15.09.2019 17:50
Спасибо!
0
vituson vituson   15.09.2019 19:11
Яндекс давно эту директиву "не кушает", интервал переобхода регулируется в кабинете вебмастера.
0
fotokrek fotokrek   15.09.2019 22:40
Вот что гласит первоисточник: "Если сервер сильно нагружен и не успевает отрабатывать запросы робота, воспользуйтесь директивой Crawl-delay."
https://yandex.ru/support/webm...
0
Рукапча Бот Рукапча Бот   15.09.2019 17:16
Здравствуйте  вы закрыли папку wp-admin от индексаций. А файл nav-menus.php как раз находится в папке wp-admin 
Disallow: /wp-admin/
Директива Disallow запрещает индексацию 


1
fotokrek fotokrek   15.09.2019 17:20
Директива "Allow" открывает доступ к файлу "admin-ajax.php" в закрытой директории "wp-admin".
1
Sergei Lomakin Sergei Lomakin   15.09.2019 17:50
Спасибо!
0
Sergei Lomakin Sergei Lomakin   15.09.2019 17:50
Спасибо!
0

Войдите, чтобы написать ответ
Вход Регистрация

Нужен профессиональный Логотип? Сделаем!