Это Джумла! 1.0 Для каждой версии, понятно, разные роботсы. Кроме этого - настройки чпу каждого сайта - разные. Стоит закрывать Поиск, контакты и прочее неролевантное. (например - ссылка на печать, отправить на e-mail, все сторонние расширения файлов). Ряд компонентов выдают "плохие" ссылки и толпы страниц-дубликатов, их надо отследить и "закрыть" (проиндексированные страницы смотрим в Яндекс или Гугл веб-мастер). Вообще... настройка robots.txt - дело первостепенное и, имхо, нетривиальное. Стандартный файл - "не катит" - никак. В выдаче должны оставаться только нужные страницы, остальное - безжалостно/аккуратно закрывать. А "универсального" роботса - нет и быть не может (если "по-уму")...
Часть "закрытий"- под ВиртуалМарт и настройку чпу без index.php и без .html
Я бы не стал закрывать папку /images зачем? А вообще Джумла может нагенерить толпу безобразия, по-любому нужно смотреть страницы в индексе по Я.Вебмастер.
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
User-agent: Mediapartners-Google*
Disallow:
Sitemap:
Просто пустой оставляй!
Меня индексируют.
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /weblinks/
Disallow: /rss/
Disallow: /forum/
Disallow: /gostevaya-kniga/
Disallow: /index.php
Disallow: /*joomla
Disallow: /statistika.html$
Disallow: /poisk-po-saytu.html$
Disallow: /kontaktyi.html$
Disallow: */1
Disallow: */2
Disallow: */3
Disallow: */4
Disallow: */5
Disallow: */6
Disallow: */7
Disallow: */8
Disallow: */9
Disallow:/*index.php$
Disallow:/index2.php
Disallow:/*.doc$
Disallow:/*.pdf$
Disallow:/*.css$
Disallow: /*.js$
Disallow: /*.zip$
Disallow: /*.rar$
Disallow: /*.mp3$
Disallow: /*.htm$
Allow: /
Host: ваш сайт.ru
Sitemap: http://ваш сайт.ru/Sitemap.xml
Это Джумла! 1.0 Для каждой версии, понятно, разные роботсы. Кроме этого - настройки чпу каждого сайта - разные. Стоит закрывать Поиск, контакты и прочее неролевантное. (например - ссылка на печать, отправить на e-mail, все сторонние расширения файлов). Ряд компонентов выдают "плохие" ссылки и толпы страниц-дубликатов, их надо отследить и "закрыть" (проиндексированные страницы смотрим в Яндекс или Гугл веб-мастер). Вообще... настройка robots.txt - дело первостепенное и, имхо, нетривиальное. Стандартный файл - "не катит" - никак. В выдаче должны оставаться только нужные страницы, остальное - безжалостно/аккуратно закрывать. А "универсального" роботса - нет и быть не может (если "по-уму")...
+ поставить карма не позволяет )))))
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /component/
Disallow: /ssylki/
Disallow: /poll-results/
Disallow: /contact
Disallow: /view-your
Disallow: /view-detail-of-order
Disallow: /vmchk/
Disallow: /*vmchk
Disallow: /otpravit-soobschenie/
Disallow: /view-your-cart-content
Disallow: /javascript
Disallow: /*feed/
Disallow: /*poisk
Disallow: /index.php
Disallow:/index2.php
Disallow: /*index.php
Disallow: /*?
Disallow: /*.xls$
Disallow: /*.doc$
Disallow: /*.pdf$
Disallow: /*.rtf$
Disallow: /*.zip$
Disallow: /*.rar$
Disallow: /*.css$
Disallow: /*.js$
Disallow: /*.htm$
Disallow: /*.html$
Allow: /
Host: ваш сайт.ru
Sitemap: http://ваш сайт.ru/Sitemap.xml
Часть "закрытий"- под ВиртуалМарт и настройку чпу без index.php и без .html
Я бы не стал закрывать папку /images зачем? А вообще Джумла может нагенерить толпу безобразия, по-любому нужно смотреть страницы в индексе по Я.Вебмастер.
Его сгенерил Xmap
Получилась такая вот ссылка http://xn----itbklgcior1b.xn--p1ai/index.php?option=com_xmap&sitemap=1&view=xml
Прямо такую и размещать?