Блокировка url в роботс

A-group A-group   07.04.2016 14:25   616  
Подскажите как правильно.
Есть ссылки, по типу:
www.site.ru/blabla/?table
www.site.ru/blabla/?list
www.site.ru/blabla/?apply
Чтобы запретить table, list, apply, достаточно ли в роботс добавить Disallow: /*?

Ответы на вопрос (9) Написать ответ
zantibot zantibot   07.04.2016 16:46
Пользуйся веб мастером и проверяй. Мне кажется должно выглядеть так

Disallow: /?* запретить все после /?
Disallow: /*? запретить все что между /?
0
vituson vituson   07.04.2016 17:29
Вариант 1

Disallow: /blabla/

Вариант 2

Disallow: /?*
0
A-group A-group   07.04.2016 17:37
Спасибо за ответы. Сделал именно Disallow: /?*. Если прописать Disallow: /blabla/, то будет блокировка ссылок, в которых есть подобная последовательность, например, /blablanono также будет запрещено к индексации, а подобные ссылки есть.
0
vituson vituson   07.04.2016 17:48
Правило Disallow: /blabla/ не запретит ссылки вида:
/blablanono
А только каталог /blabla/. В кабинетах вебмастеров Яндекс и Гугл есть инструмент проверки файла роботс-тхт. Загрузите его и вставьте в форму проверки все интересующие ссылки. То есть увидите, как изменение роботса влияет на запрет индексации.
0
A-group A-group   07.04.2016 18:24
Вы правы, я просто невнимательно посмотрел вариант 1. Подразумевал правило /*blabla, а не /blabla/ .
0
goldkino goldkino   07.04.2016 19:28
Закрывать страницы через в роботс не самый эффективный способ. Я бы посоветовал закрывать станицы метатегом robots noindex,nofollow в самый верх страницы head, подробнее читайте справки, которые дают поисковые системы и не изобретайте велосипед. Вот самая наглядная: https://yandex.ru/support/webmaster/controlling-robot/html.xml
0
vituson vituson   07.04.2016 20:28
Составлять правильный robots.txt - это изобретать велосипед? Расскажите об этом Гуглу и Яндексу, а то их представление о сайтостроении и индексации явно устарели.

Вот эту страницу по-вашему явно стоит удалить - https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml
0
goldkino goldkino   07.04.2016 21:39
Да вы хоть кому расскажите, ваш robots.txt давно никому не нужен, так же как keywords. Поисковые системы обращают внимание на них, но не всегда следуют инструкциям вашего текстового файла, а конкретный метатег в верней части сайта показывает роботу, суда не ходи, снег голова попадёт...

Робостс никто не отменял, просто я говорю как будет лучше. Давно доказанный факт, что правильный txt должен быть максимально коротким, робот должен иметь свободный и беспрепятственный доступ, а те страницы, которые вы хотите закрыть индексацией - закрывайте тегами непосредственно в head.

Развелось блин диванных войск, начитаются и спорят...
0
goldkino goldkino   07.04.2016 21:45
Вы спросили как будет правильно, я ответил как будет лучше...решать вам...
0

Войдите, чтобы написать ответ
Вход Регистрация

Фриланс нового поколения. Всё за 500 рублей!