SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Правильный robots.txt для джумлы

XrumerRU XrumerRU  
13
  22.06.2012 09:57       1 032    
Дайте пример правильного файла роботс для джумлы. какие папки нужно закрыть, а какие открыть.
Спсб.

Ответы на пост (11) Написать ответ
vladimir-nefedov vladimir-nefedov
166
22.06.2012 10:37
доп. вопрос. а стандартный роботс разве не правильный?
0
XrumerRU XrumerRU
13
22.06.2012 12:17
Стандартный потерялся
0
vladimir-nefedov vladimir-nefedov
166
22.06.2012 12:41
у меня такой стоит:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
User-agent: Mediapartners-Google*
Disallow:
Sitemap:
0
vladimir-nefedov vladimir-nefedov
166
22.06.2012 12:42
может тоже оцените: норм. или нет...
0
XrumerRU XrumerRU
13
22.06.2012 12:45
Я еще, как правило, host указываю
0
Karaman Karaman
1
22.06.2012 11:48
Reshech.ru
Просто пустой оставляй!
Меня индексируют.
0
XrumerRU XrumerRU
13
22.06.2012 12:18
пустой нельзя. кучу мусора всплывет же
0
sansan sansan
1680
22.06.2012 13:09
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /weblinks/
Disallow: /rss/
Disallow: /forum/
Disallow: /gostevaya-kniga/
Disallow: /index.php
Disallow: /*joomla
Disallow: /statistika.html$
Disallow: /poisk-po-saytu.html$
Disallow: /kontaktyi.html$
Disallow: */1
Disallow: */2
Disallow: */3
Disallow: */4
Disallow: */5
Disallow: */6
Disallow: */7
Disallow: */8
Disallow: */9
Disallow:/*index.php$
Disallow:/index2.php
Disallow:/*.doc$
Disallow:/*.pdf$
Disallow:/*.css$
Disallow: /*.js$
Disallow: /*.zip$
Disallow: /*.rar$
Disallow: /*.mp3$
Disallow: /*.htm$
Allow: /
Host: ваш сайт.ru
Sitemap: http://ваш сайт.ru/Sitemap.xml

Это Джумла! 1.0 Для каждой версии, понятно, разные роботсы. Кроме этого - настройки чпу каждого сайта - разные. Стоит закрывать Поиск, контакты и прочее неролевантное. (например - ссылка на печать, отправить на e-mail, все сторонние расширения файлов). Ряд компонентов выдают "плохие" ссылки и толпы страниц-дубликатов, их надо отследить и "закрыть" (проиндексированные страницы смотрим в Яндекс или Гугл веб-мастер). Вообще... настройка robots.txt - дело первостепенное и, имхо, нетривиальное. Стандартный файл - "не катит" - никак. В выдаче должны оставаться только нужные страницы, остальное - безжалостно/аккуратно закрывать. А "универсального" роботса - нет и быть не может (если "по-уму")...
1
vladimir-nefedov vladimir-nefedov
166
22.06.2012 13:12
спасибо
+ поставить карма не позволяет )))))
0
sansan sansan
1680
22.06.2012 13:25
Ну... у Вас 1.5 (наверное). Я бы рекомендовал:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /component/
Disallow: /ssylki/
Disallow: /poll-results/
Disallow: /contact
Disallow: /view-your
Disallow: /view-detail-of-order
Disallow: /vmchk/
Disallow: /*vmchk
Disallow: /otpravit-soobschenie/
Disallow: /view-your-cart-content
Disallow: /javascript
Disallow: /*feed/
Disallow: /*poisk
Disallow: /index.php
Disallow:/index2.php
Disallow: /*index.php
Disallow: /*?
Disallow: /*.xls$
Disallow: /*.doc$
Disallow: /*.pdf$
Disallow: /*.rtf$
Disallow: /*.zip$
Disallow: /*.rar$
Disallow: /*.css$
Disallow: /*.js$
Disallow: /*.htm$
Disallow: /*.html$
Allow: /
Host: ваш сайт.ru
Sitemap: http://ваш сайт.ru/Sitemap.xml

Часть "закрытий"- под ВиртуалМарт и настройку чпу без index.php и без .html
Я бы не стал закрывать папку /images зачем? А вообще Джумла может нагенерить толпу безобразия, по-любому нужно смотреть страницы в индексе по Я.Вебмастер.
0
XrumerRU XrumerRU
13
22.06.2012 13:54
В роботсе есть Sitemap
Его сгенерил Xmap
Получилась такая вот ссылка http://xn----itbklgcior1b.xn--p1ai/index.php?option=com_xmap&sitemap=1&view=xml

Прямо такую и размещать?
0