Помогите с robots.txt на мультисайте wp

Question

Помогите с robots.txt на мультисайте wp

Всем привет, не могу найти инфу как прописать директиву disalow для отдельных категорий.

структура мультисайта на поддоменах.

хочу запретить ботаи посещать например :

de.domain/categorybot/ и все страницы которые относятся к этой категории.

Что то мне подсказывает, что так неправильно:

Disallow: /de.domain/categorybot*

так как файл роботс один для всего сайта.

0

Ответы на вопрос (1) Написать ответ

Быстрая регистрация для ответа Войти

Answer 1

По идее, сайт на поддомене - это отдельный сайт со своим роботсом. Т.е. правила должны быть для каждого поддомена свои. Но если физически поддоменов нет, а они хитрым образом перенаправляются в папки, то нужно думать над генерацией роботса в зависимости от запрашиваемого адреса.

Либо прописать что-то вроде этого (если роботс все же один):
Disallow: */categorybot/*

Помогите с robots.txt на мультисайте wp

Похожие вопросы