Помогите с robots.txt на мультисайте wp
Всем привет, не могу найти инфу как прописать директиву disalow для отдельных категорий.
структура мультисайта на поддоменах.
хочу запретить ботаи посещать например :
de.domain/categorybot/ и все страницы которые относятся к этой категории.
Что то мне подсказывает, что так неправильно:
Disallow: /de.domain/categorybot*
так как файл роботс один для всего сайта.
Либо прописать что-то вроде этого (если роботс все же один):
Disallow: */categorybot/*