Есть Robots.txt на хостинге сайта www.shemidlyarukodeliya.ru, помогите проверить правильно ли он составлен, а то делали за денежку, а я в этом ни бум бум
vital78, нужно знать... Напрашивается вопрос - зачем платить деньги, если можно оставить стандартный вордпресовский? А зачем на самом сайте карта сайта, если в роботсе она прописана? Насколько я понимаю, она не приносит ценности посетителям. И как я написала ниже, непонятно зачем разделять яндекс от других поисковиков? Может это правильно, но опять же нужно знать какую цель преследуете.
ylliya123 говорит правильно, вам нужно уточнить что вам конкретно нужно. А вообще я считаю что robots сделан не правильно, из за того что в нем прописаны данные отдельно для Яндекса и Гугла, я считаю что нужно делать один общий. Но это только моё мнение, сайт ваш, и вам решать какой robots на него ставить.
Кстати да, этот момент я упустила. Для яндекса написано с WWW, но пока все в индексе, но известно как робот отреагирует. Уберите эту строчку - Host: www.shemidlyarukodeliya.ru или поменяйте на Host: shemidlyarukodeliya.ru и карту сайта без WWW.
RewriteCond %{HTTP_HOST} ^www.сайт\.ru$ [NC]
RewriteRule ^(.*)$ http://сайт.ru/$1 [R=301,L]