Здравствуйте! Имеется молодой сайт, у которого 6 страниц, одна из них - главная. При проверке на дубли страниц в поиске яндекс было выявлено 3 дубля с www - один из которых идет на главную страницу. Поскольку ранее никакие настройки не выполнялись касаемо определения зеркала сайта, то я ввела в роботс следующий код (полностью):
User-agent: *Disallow:Host: мойдомен.ru
Sitemap: http://мойдомен.ru/sitemap.xml
И откорректировала файл .htaccess, теперь он имеет полностью такой код:deny from allRewriteEngine OnRewriteCond %{HTTP_HOST} ^www.мойдомен.ru$ [NC]RewriteRule ^(.*)$
http://мойдомен.ru/ [R=301,L]
В вебмастере яндекс добавила данный код роботс на проверку, но долго она продолжается. Тем временем дубли еще до сих пор имеются в поиске яндекс.
В вебмастере до сих пор висит сообщение:
Возможные проблемыВ файле robots.txt не задана директива Host Для корректного определения главного зеркала сайта рекомендуется задать соответствующую директиву Host в файлах robots.txt всех зеркал сайта. В случае ее отсутствия главное зеркало может быть выбрано автоматически.Добавьте директиву Host в файл robots.txt.
Скажите, что мне еще необходимо сделать, чтобы избавиться от дублей с www?
Получается ведь, что перенаправление 301 настроено, но судя по описанному выше, это касается только главной страницы или еще нужно перенаправление сделать и на остальные странички (или это уже касается всего сайта)? Или необходимо просто подождать, когда все само собой решится? Поскольку я не специалист, поэтому плохо разбираюсь в данной терминологии.
Sitemap: http://мойдомен.ru/sitemap.xml"
User-agent: *
Allow: /
Host: мойдомен.ru
Sitemap: http://мойдомен.ru/sitemap.xml
Непонятно, что вы там закрыли?
User-agent: *
Disallow:
Host: мойдомен.ru
Sitemap: http://мойдомен.ru/sitemap.xml
deny from all
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.мойдомен.ru$ [NC]
RewriteRule ^(.*)$ http://мойдомен.ru/$1 [R=301,L]
User-agent: *
Host: мойдомен.ru
скоро всё наладится :)
Если в роботсе прописан нормально host, а в sitemap - адекватные адреса.
ps: а что пишет вам Яндекс... вы лучше и не цитируйте :) Яша - в коме, но его здоровье - неинтересно.