Скорость обхода яндекс. как контролировать?

EduProfy EduProfy   22.07.2020 17:44   412  

Проблема в очень активной индексации Яндексом. Из-за чего хостинг ругается на использование процесорного времени. Переносить на VPS смысла нет, проект тестовый. Сканирует нужные страницы, все норм. Но всего сайте 200 000+ страниц. 

Как замедлить индексацию)

В вебмастере скорость на минимум.


Ответы на вопрос (10) Написать ответ
vituson vituson   22.07.2020 20:17
Пишите в ТП Яндекса с вежливой просьбой (без наездов) расширить в ВМ диапазон регулировки скорости обхода для конкретного сайта ввиду того, что робот сейчас не понимает директиву "crawl delay". Можете сразу приложить логи посещений за какой-то период, где видно много посещений робота.

Также проанализируйте страницы на качество (и наличие) кеширования, возможно, нагрузка идет из-за того, что при каждом запросе какая-то часть генерируется по-новому, т.е. кеширование неоптимально, либо отсутствует. Либо какой-то скрипт создает нагрузку при частом обращении к сайту.
0
Vladimir Kulish Vladimir Kulish   22.07.2020 21:57
Спасибо,
да сейчас копаю в плане оптимизации.
кеширование настроено. Сайт, можно сказать новый, и при каждом запросе от бота кэш только формируется. 
Просто чтобы Яндекс в день добавлял в индекс по 10000-15000 страниц в индекс, я с таким вперый раз сталкиваюсь.
 
0
wprazor wprazor   23.07.2020 10:03
Яндекс их проиндексирует, но не факт что они попадут в видачу.
0
EduProfy EduProfy   24.07.2020 14:12
я через host проверял, в индексе есть, возможно он потом часть повыкидывает. 
0
wprazor wprazor   23.07.2020 10:13
Проверьте может страница отдает 304 Not Modified для бота постоянно (если настроен Last-Modified). Один раз были глюки с гуглоботом, эта тварюка ходила на каждую страницу по 100 раз за день, в итоге было куча запросов в логе и нагрузка на сервер. Покопался в плагине кеша и отрубил все лишние заголовки и оставил код 200.
0
EduProfy EduProfy   24.07.2020 14:13
везде 200
0
dimonxaxaxa dimonxaxaxa   23.07.2020 13:07
в Роботсе прописать: User-agent: Yandex Crawl-delay: 10 10 это интервал в секундах для поискового робота. У яндекса много роботов и некоторые эту команду понимают. Хотя бы некоторых тормознуть получится
0
vituson vituson   23.07.2020 14:18
Никогда не пишите подобного бреда. Перечитайте мой ответ выше. Яндекс уже пару лет эту директиву не использует и не понимает.

На всякий случай, чтобы не было желания спорить - https://yandex.ru/support/webmaster/robot-workings/crawl-delay.html
0
wprazor wprazor   31.07.2020 23:47
Сегодня Яндексбот решил просканировать все страницы моего сайта за один раз, уже больше 20к обошел. Превышение лимитов на хостинге в 3 раза. 
0
MiG39 MiG39   05.08.2020 09:45
Посмотри в логах, возможно не только яндекс сканирует.
0

Войдите, чтобы написать ответ
Вход Регистрация