Яндекс постоянно индексирует ссылки в виде http://site.ru/page/6/ В robots txt такие ссылки прописаны запретом для индексации. Почему это происходит и как решить такую проблему?
В robots.txt можно запретить доступ робота к сайту или некоторым его разделам.
Ссылка — это элемент веб страницы, при нажатии на который курсором мыши ваш браузер осуществляет переход с одной интернет страницы на другую.
Speckom *** неучи тебе насоветуют. используй rel="nofollow" в ссылке и поисковики отстанут от ненужных ссылок.
Вообще то я бы ни роботы не трогал, ни rel="nofollow" не прописывал, а сначала разобрался, какого и почему формируются ссылки такого вида....
и тут тоже вопросы - нужна она вообще или нет?
Каково ее назначение? Какую она несет инфу - если, к примеру, переход должен быть по ссылке, а в индексе она не должна быть?
Или ее вообще не должно быть, а она формируется?
......
_DS_ robots.txt никакого отношения не имеет к ссылкам естественно нех*** его трогать, если человек хочет чтоб они не индексировались, что собственно и написано в вопросе то только rel="nofollow".
По идеи ссыль http://site.ru/page/6/ 99% ведёт на каталог контента, и его её просто нужно привести в человеко читаемый вариант (дать название каталогу), но не в коем случае не скрывать ни ссылку, ни сам каталог.
да *** пагитация или другого вида стр. У пациента вопрос другого плана, ему избавиться как он считает от лишних ссылок нужно. Заметь ссылок, а не страниц.
Если в robots txt такие ссылки прописаны запретом для индексации - перепроверьте правильность написания ЗАПРЕТА на соответствующие директории. На те ли директории указан запрет...
Между - /page/ и /page и /page.html - в robots txt есть разница!
VirusiX ничего ты не понимаешь - это новое направление культа "RobotsTXT". Эти специалисты сейчас все делают через опу и robots.txt
Ржу не маху-у-у-у......запрет ссылок в роботсе ))))))
Меня часто спрашивают - Что я тут делаю, на этом вопроснике?
Ответ: - Захожу поднять себе настроение и почитать балаболов в свободное время (без обид всем) :-)
А в роботсе можно закрывать, как директории\папки так и отдельные страницы\ссылки
Ссылка — это элемент веб страницы, при нажатии на который курсором мыши ваш браузер осуществляет переход с одной интернет страницы на другую.
Speckom *** неучи тебе насоветуют. используй rel="nofollow" в ссылке и поисковики отстанут от ненужных ссылок.
и тут тоже вопросы - нужна она вообще или нет?
Каково ее назначение? Какую она несет инфу - если, к примеру, переход должен быть по ссылке, а в индексе она не должна быть?
Или ее вообще не должно быть, а она формируется?
......
По идеи ссыль http://site.ru/page/6/ 99% ведёт на каталог контента, и его её просто нужно привести в человеко читаемый вариант (дать название каталогу), но не в коем случае не скрывать ни ссылку, ни сам каталог.
Мы тут можем фигню писать все скопом не зная истинного назначения ссылки....
Между - /page/ и /page и /page.html - в robots txt есть разница!
Ржу не маху-у-у-у......запрет ссылок в роботсе ))))))
Ответ: - Захожу поднять себе настроение и почитать балаболов в свободное время (без обид всем) :-)