Как правильно закрыть от индексации, не весь каталог, а только одну часть?
Например, есть структура...
www.site.ru/novosti/novost1.html
Вот нужно, что бы эта часть www.site.ru/novosti не индексироваласт... то есть список новостей, а www.site.ru/novosti/novosti1.html - индексировались.
Что нужно в роботс.тхт прописать? Спасибо.
Disallow: /novosti$
И все статьи перстают индексироваться =)
Allow: novosti/novost1.html