Кто поможет с Robots.txt

vital78 vital78   24.04.2012 10:46   383  
Есть Robots.txt на хостинге сайта www.shemidlyarukodeliya.ru, помогите проверить правильно ли он составлен, а то делали за денежку, а я в этом ни бум бум

Ответы на вопрос (14) Написать ответ
arturfat arturfat   24.04.2012 11:40
Да, правильно составлен. Закрыты основные ненужные каталоги.
1
ylliya123 ylliya123   24.04.2012 11:44
Вроде правильно, но уточните вопрос, что Вы хотите закрыть от индексации? Тогда получите более конкретный и нужный ответ.
0
vital78 vital78   24.04.2012 12:01
если б я знал, что нужно закрыть
0
ylliya123 ylliya123   24.04.2012 12:19
vital78, нужно знать... Напрашивается вопрос - зачем платить деньги, если можно оставить стандартный вордпресовский? А зачем на самом сайте карта сайта, если в роботсе она прописана? Насколько я понимаю, она не приносит ценности посетителям. И как я написала ниже, непонятно зачем разделять яндекс от других поисковиков? Может это правильно, но опять же нужно знать какую цель преследуете.
0
Lexss Lexss   24.04.2012 11:52
ylliya123 говорит правильно, вам нужно уточнить что вам конкретно нужно. А вообще я считаю что robots сделан не правильно, из за того что в нем прописаны данные отдельно для Яндекса и Гугла, я считаю что нужно делать один общий. Но это только моё мнение, сайт ваш, и вам решать какой robots на него ставить.
0
ylliya123 ylliya123   24.04.2012 12:12
Вот я тоже обратила внимание на этот нюанс, но опять же, нужно уточнить саму цель этого файла.
0
vital78 vital78   24.04.2012 12:50
так просто оставить верхнию шапку
0
sbseo sbseo   24.04.2012 12:17
У вас host прописан с WWW а CMS настроена без WWW, в итоге у вас в индексе одна страница будет.
0
vital78 vital78   24.04.2012 12:22
спасибо
0
ylliya123 ylliya123   24.04.2012 12:24
Кстати да, этот момент я упустила. Для яндекса написано с WWW, но пока все в индексе, но известно как робот отреагирует. Уберите эту строчку - Host: www.shemidlyarukodeliya.ru или поменяйте на Host: shemidlyarukodeliya.ru и карту сайта без WWW.
0
vital78 vital78   24.04.2012 12:48
спасибо уже вроде сделал
0
vitus-kor vitus-kor   24.04.2012 13:30
Можно и через htaccess нормальный редирект сделать на сайт без WWW

RewriteCond %{HTTP_HOST} ^www.сайт\.ru$ [NC]
RewriteRule ^(.*)$ http://сайт.ru/$1 [R=301,L]
0
AB-team AB-team   24.04.2012 12:50
нужно делать отдельный список исключений для робота Яндекса!! У вас так и есть.
0
Lexss Lexss   24.04.2012 14:13
Насчет этого можно долго спорить!
0

Войдите, чтобы написать ответ
Вход Регистрация


ВНИМАНИЕ-ВНИМАНИЕ! Говорит Москва: Вечные ссылки на ЗАРУБЕЖНЫХ ПЛОЩАДКАХ теперь тоже за ПОЛЦЕНЫ!