Robots.txt. Как правильно настроить скрытие категории?

Question

Robots.txt. Как правильно настроить скрытие категории?

Нужно скрыть от поисковиков все mysite.ru/kategoriya/page222/, mysite.ru/page/222, как правильно это сделать? что именно нужно писать в robots и через какое время все эти ссылки "/page122/" выпадут из поиска?

0

dle

Ответы на пост (5) Написать ответ

Быстрая регистрация для ответа Войти

ToXaD3

214

20.01.2017 04:26

mysite.ru/kategoriya/page222/
mysite.ru/page/222
А это не дубли?
/page122/ или /page/222 ?
Через какое время - никто вам не ответит. В среднем - около месяца, скорей всего быстрее.
Используйте директиву Disallow.
Например: Disallow: /kategoriya/page222/
Или: Disallow: /page/222

0

tomS

25

20.01.2017 04:50

для каждой категории прописывать отдельно и для каждой страницы прописывать нужно что ли?
я думал можно одной командой чтобы не индексировало все page просто

0

erika74

26

20.01.2017 08:31

Disallow: *page
или синоним, но нагляднее
Disallow: *page*

0

tomS

25

21.01.2017 01:39

Disallow: /page/* - добавил в robots, но страницы все равно продолжают добавляться

0

Accepted Answer

Можно, в robots выделяется директория или ее кусок, именно так, как я указал.
Например, строкой "Disallow: /kategoriya/page222/" вы запретите индексацию:
mysite.ru/kategoriya/page222/
mysite.ru/blablabla/kategoriya/page222/
mysite.ru/1/kategoriya/page222/
и тд.
А строкой "Disallow: /page222/" запретите:
mysite.ru/kategoriya/page222/
mysite.ru/page222/
mysite.ru/kategoriya/blablabla/page222/
и тд.

Robots.txt. Как правильно настроить скрытие категории?

Похожие посты

Анализ сайта