Уменьшение нагрузки от поисковых ботов

Ssudar Ssudar   19.05.2015 09:54   1 815  
Здравствуйте. Уже 2 раза за несколько дней вижу на своих сайтах 502 ошибку. Хостер сказал что повышенную нагрузку создают поисковые боты. Гугл бот имеет периодичность сканирования сайтов разную - она автоматически выставлена. А вот яндекс бот - не знаю какая периодичность. Для уменьшения нагрузки от я бота рекомендуют использовать директиву crawl-delay 
https://help.yandex.ru/webmaster/controlling-robot...
А теперь вопрос - если кто-то из вас ее использует, то какую периодичность вы выставили себе? Понимаю что сайты и нагрузка на хост у каждого разная, но все же...

Ответы на вопрос (1) Написать ответ
k-park k-park   19.05.2015 12:53
Нагрузка зависит от многих вещей, в том числе и от самого движка и плагинов. Попробуйте для начала Crawl-delay: 10, но я бы советовал анализировать сами скрипты сайта, в качестве последующего шага.
0

Войдите, чтобы написать ответ
Вход Регистрация