SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Сервер отвечает редиректом на запрос /robots.txt (яндекс)

Влас Васильков Влас Васильков  
1
  08.10.2016 20:44       26 247    
При переезде сайтом  на https
В яндекс вебмастере пишет "сервер отвечает редиректом на запрос /robots.txt " 
Робот не смог получить доступ к файлу robots.txt при последнем обращении. Из-за отсутствия параметров индексирования и инструкций в поиск могут попасть нежелательные страницы.
 Сервер отвечает редиректом на запрос /robots.txt

Яндесу указал на переезд сайта вот что пишет "В ближайшее время в результатах поиска вместо домена volstamp.in.ua появится https://volstamp.in.ua

Я так понял мне нужно просто ждать ?
После переезда будет работать robot.txt?

Ответы на пост (10) Написать ответ
vituson vituson
2363
08.10.2016 21:00
Если настраивали редирект в Htaccess, сделайте исключение для robots.txt

RewriteEngine On
RewriteCond %{HTTPS} =off
RewriteCond %{REQUEST_URI} !^/robots.txt
RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [QSA,L]
4
Решение
Влас Васильков Влас Васильков
1
08.10.2016 21:38
Редирект делал не в Htaccess а на хостинге в настройках сайта, поставив переадресацию на безопасное соединение.
Если в Htaccess сделаю редирект то сайт не работает пишет "Сайт volstamp.in.ua выполнил переадресацию слишком много раз."
0
Влас Васильков Влас Васильков
1
08.10.2016 21:45
И в robot.txt дописал
User-agent: Yandex
Host: https://volstamp.in.ua
0
Влас Васильков Влас Васильков
1
08.10.2016 23:15
Спасибо, вот что сделал)

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP:X-HTTPS} !1
RewriteCond %{REQUEST_URI} !robots.txt
RewriteRule ^(.*)$ https://volstamp.in.ua/$1 [R=301,L]
0
SWIPI SWIPI
0
08.10.2016 20:57
Да.Напишите еше host
0
Влас Васильков Влас Васильков
1
08.10.2016 20:59
Да, хост сразу написал) Host: https://volstamp.in.ua
0
vituson vituson
2363
08.10.2016 21:09
Директива Host известна только Яндексу

User-agent: *
Disallow: /my/
Disallow: /checkout/
Disallow: /cart/
Disallow: /webasyst/
Disallow: /search/?query=
Disallow: /compare/
Disallow: /tag/
Disallow: *&sort=
Disallow: */?sort=
Disallow: /signup/
Disallow: /login/
Disallow: /forgotpassword/

User-agent: Yandex
Disallow: /my/
Disallow: /checkout/
Disallow: /cart/
Disallow: /webasyst/
Disallow: /search/?query=
Disallow: /compare/
Disallow: /tag/
Disallow: *&sort=
Disallow: */?sort=
Disallow: /signup/
Disallow: /login/
Disallow: /forgotpassword/
Host: https://volstamp.in.ua
0
odda odda
0
15.03.2017 16:10
Добрый день! у меня такая же проблема, не пойму что менять в моем htaccess:

AddDefaultCharset UTF-8


#Options -Indexes

RewriteEngine on

RewriteCond %{HTTP_HOST} ^www.odda.com.ua$ [NC]
RewriteRule ^(.*)$ http://odda.com.ua/$1 [L,R=301]

#apache2ctl -M && sudo a2enmod expires && sudo service apache2 restart (to enable mod_expires on ubuntu)
<IfModule mod_expires.c>
ExpiresActive On
ExpiresDefault "access 7 days"
ExpiresByType image/gif "access plus 1 year"
ExpiresByType image/jpeg "access plus 1 year"
ExpiresByType image/png "access plus 1 year"
ExpiresByType image/jpg "access plus 1 year"
ExpiresByType image/x-icon "access 1 year"
ExpiresByType application/x-shockwave-flash "access 1 year"
ExpiresByType application/javascript "access 1 year"
ExpiresByType application/x-javascript "access 1 year"
ExpiresByType text/css "access 1 year"
ExpiresByType text/html "access 1 year"
</IfModule>

RewriteRule ^(.*)\.tpl$ [R=404]
RewriteRule ^(.*)\.zip$ [R=404]

RewriteCond $1 !^(index\.php|user_guide|uploads/.*|favicon\.ico|favicon\.png|captcha/.*|application/modules/.*/templates|application/modules/.*/assets/js|application/modules/.*/assets/css|application/modules/.*/assets/images|CHANGELOG.xml|templates|js|robots\.txt)
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule .* index.php [L]
#RewriteRule ^(.*)$ index.php?$1 [L]
0
Xaitech Xaitech
4
06.07.2017 23:02
Всем привет. Для тех у кого хостинг TimeWeb (а может и на всех будет работать). В файл robots.txt добавляем строчку
Host:https://kabAspekt.ru/
Затем в панели вебмастера переходим на вкладку "индексирование", жмем на "переезд сайта", выбираем свой сайт и ставим галку на https. Готово! Дальше уже будете смотреть данные сайта по новому адресу. Он появится в списке сайтов. После склейки ошибки с редиректами уйдут.
4
Golden-Apples Golden-Apples
3
06.10.2017 10:54
В файл robots.txt добавляем строчку
Host:https://kabAspekt.ru/ - Это что за СПАМ?! Может модераторы удалят данный пост?
3