Предупреждение гугла

Question

Предупреждение гугла

Здравствуйте. Пришло предупреждение от гугл. Не понимаю почему. В предупреждении написано - Search console проиндексировал страничку mysjite.ru/wp-admin/nav-menus.php несмотря на запрет в файле роботс:

И тут - открываем файл роботс и видим:

User-agent: *
Crawl-delay: 12
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: *
Crawl-delay: 12

User-agent: Mail.ru
Disallow: /*

Никаких запретов на индексацию nav-menus.php там нет. Вопрос - что за?

0

google

Ответы на пост (8) Написать ответ

Быстрая регистрация для ответа Войти

Answer 1

Во первых: Crawl-delay: 12 должен быть один. Во вторых: Вот это User-agent: * Crawl-delay: 12 замените на это User-agent: Yandex Crawl-delay: 12 ибо директиву Crawl-delay: кушает только Яндекс, остальные боты не понимают её. Поэтому (*) здесь неуместна во-о-бще. Ну и 12 - это, как по мне, слишком... может двоечки будет достаточно?

Answer 2

Oves Ovesoff

3

15.09.2019 17:50

Спасибо!

0

Answer 3

Яндекс давно эту директиву "не кушает", интервал переобхода регулируется в кабинете вебмастера.

Answer 4

Вот что гласит первоисточник: "Если сервер сильно нагружен и не успевает отрабатывать запросы робота, воспользуйтесь директивой Crawl-delay."
https://yandex.ru/support/webm...

Answer 5

Здравствуйте вы закрыли папку wp-admin от индексаций. А файл nav-menus.php как раз находится в папке wp-admin
Disallow: /wp-admin/
Директива Disallow запрещает индексацию

Answer 6

Директива "Allow" открывает доступ к файлу "admin-ajax.php" в закрытой директории "wp-admin".

Answer 7

Oves Ovesoff

3

15.09.2019 17:50

Спасибо!

0

Answer 8

Oves Ovesoff

3

15.09.2019 17:50

Спасибо!

0

Предупреждение гугла

Похожие посты

Анализ сайта