Как разрешить боту PR-CY сканировать мой сайт?

У некоторых пользователей сайт не индексируется полностью. Как правило, эта проблема возникает у клиентов хостинга Beget.

При запросе к сайту проставляется кука Beget и происходит перезагрузка страницы, последующие запросы уже выполняются с cookies. Таким образом у хостинга работает защита от роботов.

Чтобы сервис смог проверить все страницы, добавьте исключение для нашего робота. Следуйте этим инструкциям по порядку, чтобы бот PR-CY.ru смог сканировать и индексировать страницы вашего сайта.

  1. robots.txt:

    • Проверьте ваш файл robots.txt, чтобы убедиться, что он не блокирует бота PR-CY.
    • Откройте файл robots.txt, который обычно находится в корневом каталоге вашего сайта.
    • Найдите строки, которые запрещают доступ ботам. Убедитесь, что они не относятся к User-agent: PR-CY-BOT. Пример строки, запрещающей доступ:
      User-agent: *
      Disallow: /
    • Если вы обнаружите такие строки, удалите их или измените, чтобы они не блокировали бота PR-CY-BOT.
    • Сохраните изменения и загрузите обновленный файл robots.txt на ваш сервер.
  2. Серверные правила:

    • Убедитесь, что ваши серверные правила не блокируют следующие IP-адреса и User Agent:
      • IP-адреса: 146.120.204.0/24
      • User Agent: PR-CY
    • Если на вашем сервере настроены правила доступа, например, в файле .htaccess для Apache, убедитесь, что они не блокируют вышеуказанные IP-адреса и User Agent.
    • Откройте файл .htaccess, который находится в корневом каталоге вашего сайта.
    • Найдите правила, которые могут блокировать доступ, например:
      <IfModule mod_rewrite.c>
      RewriteEngine On
      RewriteCond %{REMOTE_ADDR} ^146\.120\.204\.
      RewriteCond %{HTTP_USER_AGENT} !PR-CY
      RewriteRule .* - [F,L]
      </IfModule>
    • Убедитесь, что правила разрешают доступ для бота PR-CY, добавив следующие строки:
      # Разрешаем доступ для бота PR-CY
      <IfModule mod_rewrite.c>
      RewriteEngine On
      RewriteCond %{HTTP_USER_AGENT} PR-CY [OR]
      RewriteCond %{REMOTE_ADDR} ^146\.120\.204\.
      RewriteRule .* - [L]
      </IfModule>
    • Сохраните изменения и загрузите обновленный файл .htaccess на ваш сервер.
  3. Cloudflare:

    • Войдите в свою учетную запись Cloudflare и выберите нужный домен.
    • Перейдите в раздел Firewall (Брандмауэр).
    • В разделе Firewall Rules (Правила брандмауэра), нажмите на кнопку Create a Firewall rule (Создать правило брандмауэра).
    • Дайте правилу имя, например, "Разрешить PR-CY.RU".
    • В условиях правила укажите: (ip.src in {146.120.204.0/24}) или User Agent содержит PR-CY.
      • Это означает, что правило будет применяться к IP-адресам в диапазоне 146.120.204.0/24 или если User Agent содержит PR-CY.
    • В разделе Then (Тогда), выберите действие Allow (Разрешить). Убедитесь, что выбраны все необходимые параметры для разрешения доступа.
    • Сохраните правило.

После выполнения этих шагов, бот PR-CY.ru сможет сканировать и индексировать страницы вашего сайта.

Не нашли нужной информации? Напишите нам в тех.поддержку