SEO Сообщество: Спрашивайте и помогайте
Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.
Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.
GreenRed
25.09.2017 18:40
3 929
Поможем улучшить ваш сайт.
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Должен быть такой, остальное в /engine/engine.php
перед
if ($config['allow_rss']) $metatags .= <<<HTML
добавь
if (
(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
) $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow" />
HTML;
Можно там же и другие ненужные стр закрыть, например - Стр просмотра списка тегов, формы обратной связи закладок пользователей и прочие
Disallow: */page/*/
Disallow: */page/
1. Порыться по Нету и выбрать все запреты страниц типа:
Disallow: */page/*/
Disallow: */page/
Disallow: /page/*
и.т.д
2. Затем зайти в Яндекс Вебмастер, в раздел - "Инструменты" - "Анализ robots.txt". Там отобразится ваш действующий robots.txt. Ниже будет поле "Разрешены ли URL?" Добавляете команды (Disallow: */page/*/, Disallow: */page/, Disallow: /page/* и им подобные) в ваш robots.txt тот, что в окне выше. Затем в окно "Разрешены ли URL?" вставляете списком те страницы page, либо другие страницы и жмете "Проверить". Если урл разрешен будет зеленая галочка - тогда в команде предположим Disallow: */page/*/ убираете наклонные и звездочки. Делаете пока ваш урл - не будет красным (Запрещен)!
3. Аналогично, есть проверка robots.txt в гугл вебмастере.
С ув. Сергей.
P.S. Насчет грузить robots.txt как советовали выше - не согласен! Сам закрывал в дле, в /engine/engine.php - остался недоволен. Да и сами Яндекс-представители советуют, закрывать именно в файле robots.txt.
Disallow: */page/*/
Disallow: */page/
Disallow: /page/*
Все равно горит зеленая галочка ...
Disallow: */page/*
Disallow: /page*
С ув. Сергей
User-agent: *
Disallow: */page/*
Disallow: /page*
Host: ****.ru
Sitemap: http://****.ru/sitemap.xml
2. В итоге страницы типа ****.ru/page/2/ - результат */page/* - Закрыт к индексации!!!
Попробуйте еще раз.
С ув. Сергей
Disallow: */page/*
Disallow: /page*
достаточно и этой одной
Disallow: */page/*
Вот скрин на закрытие всех вами указанных выше страниц - http://radikal.ru/lfp/s013.radikal.ru/i324/1709/6f/dea45e8cac01.jpg/htm
С ув. Сергей
Disallow: /*page/
Запрет на индексацию идет по всем возможным страницам пагинации, т.е. как только в адресе появляется page на эту страницу ставится запрет индексации.