Как разрешить боту PR-CY сканировать сайт

Если аудит не получает страницы, сначала выясните, что препятствует загрузке: robots.txt, защита хостинга, межсетевой экран или ошибка самого сайта.

1. Проверьте правила robots.txt

В настройках аудита проверьте, ограничения какого робота учитывает сканер. Если выбран PR-CY-BOT, найдите соответствующую группу в robots.txt и убедитесь, что нужные URL доступны этому роботу.

Если хотите проверить сайт без учёта robots.txt, выключите переключатель «Использовать ограничения robots.txt» в настройках аудита. Сам файл при этом остаётся прежним. Если сайт намеренно закрыт, согласуйте проверку с его администратором.

2. Проверьте защиту сервера и хостинга

В настройках аудита PR-CY указан диапазон адресов сканера 87.228.72.128/25. Он охватывает адреса от 87.228.72.128 до 87.228.72.255. Если интерфейс сервиса показывает другой диапазон, используйте актуальное значение из него.

Передайте диапазон администратору хостинга и попросите проверить отклонённые запросы по журналу. Для поиска запросов используйте строку «PR-CY» в User-Agent. Для точечного правила используйте поддержку CIDR. Регулярное выражение 87.228.72.* открывает всю подсеть, а не только диапазон сканера.

Если защита требует от посетителя JavaScript-проверку или cookie, обычный запрос сканера может не пройти. Это возможно у разных хостингов, в том числе при включённой защите от ботов. Согласуйте исключение именно для нужных запросов.

В настройках аудита поле «Кол-во запросов в сек.» позволяет задать 1–5 запросов в секунду. Если защита блокирует частые запросы, снизьте это значение и повторите проверку.

3. Если используется Cloudflare или другой WAF

Найдите в журнале безопасности запрос PR-CY и правило, которое его остановило. Создавайте исключение для подтверждённого источника и конкретного мешающего правила. Для проверки IP в Cloudflare можно использовать условие:

ip.src in {87.228.72.128/25}

Оно проверяет только диапазон адресов; действие правила выбирается в настройках защиты. Не разрешайте обход всей защиты только по строке User-Agent: её можно подставить в чужом запросе. Конкретные пункты интерфейса и доступные действия зависят от используемого WAF.

4. Проверьте результат

Проверьте доступность сайта для сканера в инструменте «Бот PR-CY». Затем запустите аудит сайта повторно. Убедитесь, что сканер получает содержимое нужных страниц, а не страницу проверки посетителя или ошибки доступа.

Разрешение сканирования PR-CY не отправляет страницы на индексацию в Google или Яндекс и не гарантирует попадания в поиск. Если доступ всё ещё блокируется, передайте поддержке URL, время запуска и код ответа из журнала.