SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Как в dle запретить индексацию страниц? Что написать в robot.txt?

GreenRed GreenRed  
30
  25.09.2017 18:40       3 596    
Добрый день. 

Как запретить индексацию страниц
https://сайт.ком/page/2/

https://сайт.ком/page/3/
https://сайт.ком/page/4/ и тд

На сайте 50к страницы )) В индексе 5000 страниц ))) Таких... Как их закрыть, чтоб они выпали с индексации и больше туда не попадали  ?

Ответы на пост (20) Написать ответ
VirusiX VirusiX
275
25.09.2017 23:03
Зачем нагружать robot.txt? это же dle не плодите ненужные стр и всё.
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Должен быть такой, остальное в /engine/engine.php
перед
if ($config['allow_rss']) $metatags .= <<<HTML
добавь
if (
(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
) $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow" />
HTML;
Можно там же и другие ненужные стр закрыть, например - Стр просмотра списка тегов, формы обратной связи закладок пользователей и прочие
0
Решение
dimkass dimkass
217
25.09.2017 18:43
Disallow: /page/*
0
GreenRed GreenRed
30
25.09.2017 18:50
и все? все страницы выпадут ? хм ...
0
dimkass dimkass
217
25.09.2017 19:02
выпадут.
0
vovan777 vovan777
238
25.09.2017 21:41
Ответ на такой вопрос можно было уже поискать и в гугле... Привыкли на блюдечке да с каёмочкой, блин... лодыри, тунеядцы...
0
mozgsupport mozgsupport
193
26.09.2017 08:29
Оно так и есть, лень, но не лень сайт создавать и им заниматься. Где надо мозг работает, а на самом элементарном и простом его нет.
0
topbux topbux
26
26.09.2017 10:32
Не надо велосипед изобретать :)
Disallow: */page/*/
Disallow: */page/

0
topbux topbux
26
26.09.2017 10:36
И еще используй хак для DLE Тег canonical для страниц DLE что бы отбить все возможные ее дубли https://dleshka.org/hacks/6003-teg-canonical-dlya-stranic-dle.html
0
sergull sergull
20
27.09.2017 13:06
Я бы посоветовал сделать так.
1. Порыться по Нету и выбрать все запреты страниц типа:
Disallow: */page/*/
Disallow: */page/
Disallow: /page/*
и.т.д

2. Затем зайти в Яндекс Вебмастер, в раздел - "Инструменты" - "Анализ robots.txt". Там отобразится ваш действующий robots.txt. Ниже будет поле "Разрешены ли URL?" Добавляете команды (Disallow: */page/*/, Disallow: */page/, Disallow: /page/* и им подобные) в ваш robots.txt тот, что в окне выше. Затем в окно "Разрешены ли URL?" вставляете списком те страницы page, либо другие страницы и жмете "Проверить". Если урл разрешен будет зеленая галочка - тогда в команде предположим Disallow: */page/*/ убираете наклонные и звездочки. Делаете пока ваш урл - не будет красным (Запрещен)!
3. Аналогично, есть проверка robots.txt в гугл вебмастере.
С ув. Сергей.

P.S. Насчет грузить robots.txt как советовали выше - не согласен! Сам закрывал в дле, в /engine/engine.php - остался недоволен. Да и сами Яндекс-представители советуют, закрывать именно в файле robots.txt.
0
GreenRed GreenRed
30
27.09.2017 13:14
как бы не ставил в вебмастере

Disallow: */page/*/
Disallow: */page/
Disallow: /page/*

Все равно горит зеленая галочка ...
0
sergull sergull
20
27.09.2017 13:18
Почитайте мой 1 пункт и полазьте по нету. Вот вам нашел еще пару команд - пробуйте.
Disallow: */page/*
Disallow: /page*
С ув. Сергей
0
GreenRed GreenRed
30
27.09.2017 13:22
порылся.. добавил = зеленая галочка ...
0
sergull sergull
20
27.09.2017 13:25
1. Вот вставил в свой роботс две строки:

User-agent: *
Disallow: */page/*
Disallow: /page*

Host: ****.ru

Sitemap: http://****.ru/sitemap.xml

2. В итоге страницы типа ****.ru/page/2/ - результат */page/* - Закрыт к индексации!!!

Попробуйте еще раз.
0
sergull sergull
20
27.09.2017 13:28
Вот результат - http://s018.radikal.ru/i519/1709/78/6cdef03aa8fd.jpg
С ув. Сергей
0
sergull sergull
20
27.09.2017 13:31
GreenRed, ну что получилось?
0
GreenRed GreenRed
30
27.09.2017 14:17
нет... не работает =) зеленая горит ....
0
sergull sergull
20
27.09.2017 13:38
Из вот этих двух команд
Disallow: */page/*
Disallow: /page*

достаточно и этой одной
Disallow: */page/*

Вот скрин на закрытие всех вами указанных выше страниц - http://radikal.ru/lfp/s013.radikal.ru/i324/1709/6f/dea45e8cac01.jpg/htm

С ув. Сергей
0
GreenRed GreenRed
30
27.09.2017 13:48
вставил Disallow: */page/* - зеленая!
0
divinorum divinorum
0
30.09.2017 13:56
Для robots.txt запрет будет выглядеть так
Disallow: /*page/

Запрет на индексацию идет по всем возможным страницам пагинации, т.е. как только в адресе появляется page на эту страницу ставится запрет индексации.
0
GreenRed GreenRed
30
02.10.2017 19:06
Прописал, но яндекс даже если вручную пробовать удалить - пишет, что нет оснований для удаления!
0