Вопрос по robots.txt

Haruman Haruman   08.03.2013 16:13   468  
Всем привет! Скажите пожалуйста что значит Заблокировано в файле robots.txt ? Это кол-во страниц которые не попадают в индекс google? Неправильный файл robots ?
4zN23cxR.png

Ответы на вопрос (3) Написать ответ
mikef mikef   08.03.2013 16:16
Да, если "Заблокировано в файле robots.txt", то эти страницы не попадают в индекс, но это еще не значит, что файл robots неправильный. Например, часто от индексации закрывают странички с дублирующимся контентом.
0
Haruman Haruman   08.03.2013 16:16
Так выглядит мой robots.txt
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Host: ....ru
Sitemap: http://..../sitemap.xml
Sitemap: http://..../Sitemap
Sitemap: http://..../sitemap-forum.xml
Sitemap: http://..../sitemap-shop.xml
0
webgigant webgigant   08.03.2013 17:28
В robots.txt включены лишние страницы, которые не несут никакой смысловой нагрузки.
Например, страницы
/search
/shop/order/
могут выдавать страницы типа /shop/order/?manufacturer (сортировка по полю производитель), /shop/order/?ASC (сортировка по алфавиту в названии) и т.п., которые по факту дают одинаковые или почти одинаковые страницы, которые не являются полезными.
Вот и получается, что таких страниц может оказаться в несколько раз больше.
Поэтому просто не беспокойтесь - все корректно.
Для себя проверьте типы страниц, которые Вам важны и не закрыты ли части этих страниц в Robots.txt.
0

Войдите, чтобы написать ответ
Вход Регистрация

Гарант сделок продажи и покупки сайтов, доменов и услуг.