robots.txt для Wordpress

Solange Solange   03.06.2012 23:30   717  
Здравствуйте, помогите если не сложно составить правильный robots.txt для ресурса на Wordpress (плагин Article Directory).

Хотелось бы закрыть все ненужные страницы и дубли, но информации в сети точной не найти.

URL http://rusarticles.su/

Заранее спасибо.






Ответы на вопрос (4) Написать ответ
mail72920 mail72920   03.06.2012 23:54
Конкретно на ваш сайт, дублей точно не будет (записи автора, теги, архивы, рубрики).

User-agent: *
Allow: /wp-content/uploads
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /archives/
Disallow: /category/
Disallow: /search/
Disallow: /tag/
Disallow: /xmlrpc.php
Disallow: /2012 - каждый год добавляйте новый. Полный запрет индексации архивов.
Disallow: /author
Disallow: /category
Disallow: /page - На ваше усмотрение
Disallow: /sitemap
Host: Ваш сайт
0
ekroha ekroha   03.06.2012 23:55
http://ekroha.ru/robots.txt
0
synkona synkona   03.06.2012 23:56
Использую данный файл, проблем за 2 года не было (обратите внимание на хост с www или без):
User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: rusarticles.su

User-Agent: MJ12bot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Sitemap: http://rusarticles.su/sitemap.xml
0
Solange Solange   04.06.2012 00:05
спасибо вам большое.
0

Войдите, чтобы написать ответ
Вход Регистрация

Услуги графического дизайнера! Создание под заказ логотипов, баннеров, оформление групп.