Как разрешить боту PR-CY сканировать сайт

Если аудит не получает страницы, сначала выясните, что препятствует загрузке: robots.txt, защита хостинга, межсетевой экран или ошибка самого сайта.

1. Проверьте правила robots.txt

В настройках аудита проверьте, ограничения какого робота учитывает сканер. Если выбран PR-CY-BOT, найдите соответствующую группу в robots.txt и убедитесь, что нужные URL доступны этому роботу.

Если хотите проверить сайт без учёта robots.txt, выключите переключатель «Использовать ограничения robots.txt» в настройках аудита. Сам файл при этом остаётся прежним. Если сайт намеренно закрыт, согласуйте проверку с его администратором.

2. Проверьте защиту сервера и хостинга

В настройках аудита PR-CY указан диапазон адресов сканера 87.228.72.128/25. Он охватывает адреса от 87.228.72.128 до 87.228.72.255. Если интерфейс сервиса показывает другой диапазон, используйте актуальное значение из него.

Передайте диапазон администратору хостинга и попросите найти отклонённые запросы в журнале. Строка «PR-CY» в User-Agent поможет найти запросы, источник подтвердите по IP-адресу. Для правила доступа используйте точное условие CIDR 87.228.72.128/25. Маска 87.228.72.* охватывает адреса за пределами этого диапазона и не подходит для точного исключения.

Если защита требует от посетителя JavaScript-проверку или cookie, обычный запрос сканера может не пройти. Это возможно у разных хостингов, в том числе при включённой защите от ботов. Согласуйте исключение именно для нужных запросов.

В настройках аудита поле «Кол-во запросов в сек.» позволяет задать 1–5 запросов в секунду. Если защита блокирует частые запросы, снизьте это значение и повторите проверку.

3. Проверьте правила WAF

WAF — межсетевой экран для веб-запросов. Если вы используете Cloudflare или другой WAF, найдите в журнале безопасности запрос PR-CY и правило, которое его остановило. Создайте исключение для подтверждённого источника и конкретного мешающего правила. Для проверки IP в Cloudflare можно использовать условие:

ip.src in {87.228.72.128/25}

Оно проверяет только диапазон адресов; действие правила выбирается в настройках защиты. Не разрешайте обход всей защиты только по строке User-Agent: её можно подставить в чужом запросе. Конкретные пункты интерфейса и доступные действия зависят от используемого WAF.

4. Проверьте результат

Проверьте доступность сайта для сканера в инструменте «Бот PR-CY». Затем запустите аудит сайта повторно. Убедитесь, что сканер получает содержимое нужных страниц, а не страницу проверки посетителя или ошибки доступа.

Разрешение сканирования PR-CY не отправляет страницы на индексацию в Google или Яндекс и не гарантирует попадания в поиск. Если доступ всё ещё блокируется, передайте поддержке URL, время запуска и код ответа из журнала.