Помогите с robots.txt на мультисайте wp

psyleads psyleads   11.09.2020 17:36   281  

Всем привет, не могу найти инфу как прописать директиву disalow для отдельных категорий.

структура мультисайта на поддоменах.

хочу запретить ботаи посещать например :

de.domain/categorybot/ и все страницы которые относятся к этой категории.

Что то мне подсказывает, что так неправильно:

Disallow: /de.domain/categorybot*

так как файл роботс один для всего сайта.


Ответы на вопрос (1) Написать ответ
vituson vituson   11.09.2020 19:44
По идее, сайт на поддомене - это отдельный сайт со своим роботсом. Т.е. правила должны быть для каждого поддомена свои. Но если физически поддоменов нет, а они хитрым образом перенаправляются в папки, то нужно думать над генерацией роботса в зависимости от запрашиваемого адреса.

Либо прописать что-то вроде этого (если роботс все же один):
Disallow: */categorybot/*
0

Войдите, чтобы написать ответ
Вход Регистрация