SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Зарегистрироваться Войти
Q&A SEO
  1. Сообщество
  2. Вопросы и ответы
  3. Robots.txt - регулярные выражения

Robots.txt - регулярные выражения

Eridani Eridani  
0
  23.03.2015 13:00       2 061    
Добрый день. 
У меня в магазине присутствует непонятные страницы с сортировкой товаров, хотя страница остается та же самая, а этом мне создает дубли контента... например:

mysite.com/category/subcategory/sort1
mysite.com/category/subcategory/sort2
mysite.com/category/subcategory/sort3

Чтобы закрыть эти sort'ы, правильна ли будет конструкция
Disallow: */sort* ?

Заранее спасибо!
0

Ответы на пост (4) Написать ответ
Быстрая регистрация для ответа Войти
Ouroboros Ouroboros
1460
23.03.2015 13:21
Да, это будет верно.
Это перекроет доступ всем страницам, содержащим "sort" (начинающимся на "sort...").
Убедитесь в том, что нужные страницы не содержат этих символов.
В любом случае, Вы можете посмотреть правильность на странице вебмастера Гугла (у Яндекса также есть)
https://www.google.com/webmasters/tools/robots-testing-tool
1
Решение
Eridani Eridani
0
23.03.2015 13:27
Благодарю.
Проверил, все точно так, как и было нужно.
0
Ouroboros Ouroboros
1460
23.03.2015 13:40
Не за что, обращайтесь :)
0
Chuvachok Chuvachok
1124
24.03.2015 00:26
Disallow: /subcategory (запрещает доступ ко
всему контенту и всем папкам, которые лежат в папке subcategory)

Disallow: /subcategory* (то же самое)

Disallow: /sort*$ (запрещает sort с разными окончаниями )

Disallow: /sort$ (запрещает только sort)
0

Похожие посты

Анализ сайта

Поможем улучшить ваш сайт.