Как разрешить боту PR-CY сканировать мой сайт?

У некоторых пользователей сайт не индексируется полностью. Как правило, эта проблема возникает у клиентов хостинга Beget.

При запросе к сайту проставляется кука Beget и происходит перезагрузка страницы, последующие запросы уже выполняются с cookies. Таким образом у хостинга работает защита от роботов.

Чтобы сервис смог проверить все страницы, добавьте исключение для нашего робота. Следуйте этим инструкциям по порядку, чтобы бот PR-CY.ru смог сканировать и индексировать страницы вашего сайта.

1. robots.txt:

   • Проверьте ваш файл robots.txt, чтобы убедиться, что он не блокирует бота PR-CY.
   • Откройте файл robots.txt, который обычно находится в корневом каталоге вашего сайта.
   • Найдите строки, которые запрещают доступ ботам. Убедитесь, что они не относятся к User-agent: PR-CY-BOT. Пример строки, запрещающей доступ:

     User-agent: *
     Disallow: /

   • Если вы обнаружите такие строки, удалите их или измените, чтобы они не блокировали бота PR-CY-BOT.
   • Сохраните изменения и загрузите обновленный файл robots.txt на ваш сервер.

2. Серверные правила:

   • Убедитесь, что ваши серверные правила не блокируют следующие IP-адреса и User Agent:
     • IP-адреса: 146.120.204.0/24
     • User Agent: PR-CY
   • Если на вашем сервере настроены правила доступа, например, в файле .htaccess для Apache, убедитесь, что они не блокируют вышеуказанные IP-адреса и User Agent.
   • Откройте файл .htaccess, который находится в корневом каталоге вашего сайта.
   • Найдите правила, которые могут блокировать доступ, например:

     <IfModule mod_rewrite.c>
     RewriteEngine On
     RewriteCond %{REMOTE_ADDR} ^146\.120\.204\.
     RewriteCond %{HTTP_USER_AGENT} !PR-CY
     RewriteRule .* - [F,L]
     </IfModule>

   • Убедитесь, что правила разрешают доступ для бота PR-CY, добавив следующие строки:

     # Разрешаем доступ для бота PR-CY
     <IfModule mod_rewrite.c>
     RewriteEngine On
     RewriteCond %{HTTP_USER_AGENT} PR-CY [OR]
     RewriteCond %{REMOTE_ADDR} ^146\.120\.204\.
     RewriteRule .* - [L]
     </IfModule>

   • Сохраните изменения и загрузите обновленный файл .htaccess на ваш сервер.

3. Cloudflare:

   • Войдите в свою учетную запись Cloudflare и выберите нужный домен.
   • Перейдите в раздел Firewall (Брандмауэр).
   • В разделе Firewall Rules (Правила брандмауэра), нажмите на кнопку Create a Firewall rule (Создать правило брандмауэра).
   • Дайте правилу имя, например, "Разрешить PR-CY.RU".
   • В условиях правила укажите: (ip.src in {146.120.204.0/24}) или User Agent содержит PR-CY.
     • Это означает, что правило будет применяться к IP-адресам в диапазоне 146.120.204.0/24 или если User Agent содержит PR-CY.
   • В разделе Then (Тогда), выберите действие Allow (Разрешить). Убедитесь, что выбраны все необходимые параметры для разрешения доступа.
   • Сохраните правило.

После выполнения этих шагов, бот PR-CY.ru сможет сканировать и индексировать страницы вашего сайта.