SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Подскажите с robots

Anjela Anjela  
15
  01.03.2013 15:34       1 577    
Здесь вопрос скорее к тем кто по вордпрессу.
Посмотрите пожалуйста мой robots, что то здесь не так
Смотрю в Яндех вебмастер и читаю:
Загружено роботом 60
Исключено роботом 58
Ниже сам robots (крестики вместо ссылок изменила для этого сообщения)

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /tag/
Disallow: /page/
Disallow: /archive/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Disallow: /2013/
Disallow: /files/
Disallow: /image/

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /tag/
Disallow: /page/
Disallow: /archive/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Disallow: /image/
Host: xxxxxxx

Sitemap: http://xxx/sitemap.xml.gz
Sitemap: http://xxx/sitemap.xml








Ответы на пост (29) Написать ответ
Anjela Anjela
15
01.03.2013 16:50
Да я пробелы додумалась поставить но на проверку выдает следующее:Строка
21-40
User-agent: Yandex
Disallow: /wp-login.php
...
Host: mi site
42-43
Sitemap: http://mi site/sitemap.xml.gz
Sitemap: http://mi site/sitemap.xml
0
Решение
Kimin Kimin
873
01.03.2013 17:50
Sitemap: http://mi site/sitemap.xml.gz
можно эту строку вообще исключить. Представленный мой выше роботс совершенно не мешает успешной индексации страниц (2500 в индексе Яши). Там кто-то утверждает, что не так звездочки, что не так написано - все правильно у меня написано, просто тут код сливается.
0
Jevgenijs Jevgenijs
93
01.03.2013 15:40
Alles gut.
0
Kimin Kimin
873
01.03.2013 15:42
Пункт page - это страницы. В т.ч., и все архивы, и главная, и страница записей. Ну, и что там осталось индексировать?))
Правильный роботс для WP:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /xmlrpc.php
Disallow: /?paged=*
Disallow: /*&cpage=1
Disallow: /?tag=*
Disallow: /?cat=*
Disallow: /?s=*
Disallow: /?feed=
Host: site.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /xmlrpc.php
Disallow: /?paged=*
Disallow: /*&cpage=1
Disallow: /?cat=*
Disallow: /?s=*
Disallow: /?feed=
Sitemap: http://site.ru/sitemap.xml
0
vituson vituson
2363
01.03.2013 16:01
Неправильно, нельзя "склеивать" в одну колонку правила для разных роботов.
0
vituson vituson
2363
01.03.2013 16:07
Кроме того, сначала должны идти правила для всех пауков (звездочка), потом "поименно", т.к. роботс читается и обрабатывается пауком сверху вниз.
0
an22447 an22447
16
01.03.2013 15:46
Я вам посоветую совсем другой роботс сделать, так как роботам я так понял всеравно на него и они суют в поиск те страницы, которые вы закрыли. Вот поизучайте и сделайте также http://alaev.info/blog/post/4143. Проблем в дальнейшем с дублями у вас не будет.
0
Anjela Anjela
15
01.03.2013 15:59
Ну Вы смеетесь, для начинающих это очень тяжело :)
0
vituson vituson
2363
01.03.2013 16:08
Вы неправильно поняли, в связи с чем не надо советовать то, в чем не разберетесь.
0
vituson vituson
2363
01.03.2013 16:01
Роботс правильный
0
Anjela Anjela
15
01.03.2013 16:04
Чей правильный ???
Нужно конкретизировать.
Здесь кроме моего уже есть другой.
0
vituson vituson
2363
01.03.2013 16:04
Единственное "НО", он не даст индексироваться, если у вас не включено ЧПУ (об этом здесь - http://vituson.ru/optimizaciya-wordpress-chast-1).
Если ЧПУ не включено, нужно исключить в двух местах вашего роботса эти строчки:
Disallow: /*?*
У вас ссылки на страницы, скорее всего, вида ?p=255 или что-то типа того?
0
vituson vituson
2363
01.03.2013 16:09
Приведите примеры ссылок, которые поисковик исключает из поиска и все станет сразу ясно, какая "строка" не "пропускает" паука.
0
lemax lemax
5
01.03.2013 16:13
Тоже загнался я этим роботс, начинался на форумах какой он должен быть, какие у их стоят, как все хорошо индексируется. На вид такой же все и предлагали. Ставил такой, все блин исключил. В итоге удалил я весь этот robots, и все стало индексироваться без проблем. В чем дело не понял. Совет не загоняться этим делом. Но ссылки, да были вида ?p=1
0
lemax lemax
5
01.03.2013 16:23
Вот к примеру один из вариантов "Правильного Robots.txt" http://ktonanovenkogo.ru/seo/uluchshaem-indeksaciyu-sajta-poiskovikami-robots-txt-dlya-joomla-smf-wordpress-chast-2.html
0
silacat silacat
105
01.03.2013 16:17
Да. У меня тоже когда-то, когда я отредактировал роботс на вордпресс в массовом режиме: вылетело 100 сайтов из индекса (хотел дубли исключить; в итоге пауку было мало ссылок для индексации паучности сайтов).
Вроде бы роботс правильный. Подробнее: это надо смотреть.
Ещё это зависит от перелинковки самого сайта.
0
silacat silacat
105
01.03.2013 16:19
Вылетели: но потом вернулось, когда открыл некоторое (вроде бы категории).
0
silacat silacat
105
01.03.2013 16:23
Можно закрывать всё. За исключением страниц и категорий (рубрик).
0
Anjela Anjela
15
01.03.2013 16:26
Ссылки типа http://mi site/?p=670 и цифры в сторону уменьшения и увеличения.
Я смотрю что наверное я удалю этот robots ко всем!!!!

0
silacat silacat
105
01.03.2013 16:33
Удалить можно, но если очень очень сильно хочется. И другого выхода нет.
Я бы не рекомендовал бы удалять. При помощи роботса Вы удаляете дубли. Дубли исключать нужно: иначе поисковики плохо к ним относятся. А их много: всего там три дубля (page, archive, и category). Дубль можно оставлять только один: это в категориях (рубриках).
Чтобы точнее сказать: мне нужно видеть сайт.
Вы учитесь методом тыка. И изучайте роботс. Это полезно. В интернете есть его описание.
0
vituson vituson
2363
01.03.2013 16:33
Удалите эти две строки, этого будет достаточно.
Disallow: /*?*
Нужно делать так, чтобы все работало, "как часы", а не опускать руки, потому что ничего не выходит. Причину неиндексации я вам объяснил - потому что не включено ЧПУ. Это не смертельно, но привело к такому результату.
0
zapadlosha zapadlosha
54
01.03.2013 16:35
удалите вот это правило Disallow: /*?*
0
silacat silacat
105
01.03.2013 16:37
Они верно сказали, это правило лишнее.
0
vituson vituson
2363
01.03.2013 16:31
Для проверки на этой странице грузите свой роботс, либо вставляете из своего файла, вводите нужные вам ссылки, которые вы хотите проверить, например, ссылки на статьи и жмете - "проверить". Будет небольшой отчет, где и что разрешено, запрещено к индексации и какими строками. Исправляете, проверяете и т.д.
http://webmaster.yandex.ru/robots.xml?#results_table
0
vituson vituson
2363
01.03.2013 16:37
Вот подправил, скопируйте и все на этом.
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /tag/
Disallow: /page/
Disallow: /archive/
Disallow: /feed/
Disallow: */feed
Disallow: /?s=
Disallow: /2013/
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /tag/
Disallow: /page/
Disallow: /archive/
Disallow: /feed/
Disallow: */feed
Disallow: /?s=
Disallow: /2013/
Host: xxxxxxx
Sitemap: http://xxx/sitemap.xml.gz
Sitemap: http://xxx/sitemap.xml
0
vituson vituson
2363
01.03.2013 16:39
Почему то склеились правила, должна быть пустая строка перед "User-agent: Yandex" и после "Host: xxxxxxx".
0
Anjela Anjela
15
01.03.2013 16:43
Ну я вот гружу http://webmaster.yandex.ru/robots.xml?#results_table в ответ получаю следующее
Строка
20-41
User-agent: Yandex
Disallow: /wp-login.php
...
Sitemap: http://mi site/sitemap.xml
Повидимуму что то не нравится
0
Вот мой роботс, отлично индесирует всё. http://more-life.ru/robots.txt
0
Не так написал
0