SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Зарегистрироваться Войти
Q&A SEO
  1. Сообщество
  2. Вопросы и ответы
  3. Ограничение поисковых ботов

Ограничение поисковых ботов

PivBull PivBull  
0
  26.07.2017 11:08       1 642    
Сегодня мне заблокировали хостинг из за превышения  CPU сервера!

Письмо от хостинга: "Здравствуйте!
К вашим сайтам поступает чрезмерное количество обращений от поисковых ботов рекомендуем добавить ограничение в robots.txt для всех сайтов на хостинге:
User-agent: *
Crawl-delay: 40
Значительное количество запросов приходит от Googlebot"

Отразится ли на трафике, ограничение поисковых ботов?
Спасибо!
0

Ответы на пост (6) Написать ответ
Быстрая регистрация для ответа Войти
wearts wearts
47
26.07.2017 11:48
Меняйте хостера. Crawl-delay: 40 это много
Любой поисковый робот снижает нагрузку (обходит меньше), как только чувствует малейшие задержки в ответе, иначе многие сайты бы висели.
Таким фейковым превышением CPU славится Timeweb. Если у вас этот хостинг - бегите оттуда
0
PivBull PivBull
0
26.07.2017 12:02
хостер reg.ru как то привык к нему.
а если без фанатизма и прописать например Crawl-delay: 10 ?
0
metallphilin metallphilin
100
26.07.2017 12:11
ничего страшного от Crawl-delay нет, но хостинг позже сменили на be-get.ru
cайт с посещаемостью в 500 уник.\день работает на блоговом тарифе
0
shopeq shopeq
141
26.07.2017 13:01
А Гугл понимает Crawl-delay: ? мне кажется - нет.
0
izbyshki_ru izbyshki_ru
77
26.07.2017 14:43
ограничение для google
https://support.google.com/webmasters/answer/48620?hl=ru
0
izbyshki_ru izbyshki_ru
77
26.07.2017 14:46
По нагрузке - такая же история. Найти нормальный хостинг, как мне кажется, нереально.
Везде пытаются впарить какую то дичь и побольше выманить денег.
0
Быстрая регистрация для ответа Войти

Похожие посты

Анализ сайта

Поможем улучшить ваш сайт.