SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Ошибки в файле robots после перехода на https

Станислав Станислав  
25
  08.01.2017 08:49       5 791    
В  вебмастере  яндекса мне выдало вот такое сообщение 
"В директиве Host указан домен, где аналогичные указания в файле robots.txt отсутствуют. Чтобы указания директивы Host были учтены, идентичные директивы должны присутствовать в файлах robots.txt всех зеркал сайта."  
не понимаю , что от  меня требуется сделать. делаю проверку  файла robots   и  ошибок  нет. 

Ответы на пост (20) Написать ответ
egorhlebov egorhlebov
25
08.01.2017 09:23
Вероятнее вместо Host: domen.com прописать Host: https://domen.com/ вероятнее всего (по крайней мере по советам других специалистов, лично не сталкивался с такой проблемой)
1
Решение
vituson vituson
2363
08.01.2017 11:14
В правилах переадресации сделайте исключение для роботса, чтобы он был доступен по обоим протоколам. Для ПС - разные протоколы - это разные сайты.

RewriteEngine On
RewriteCond %{HTTPS} =off
RewriteCond %{REQUEST_URI} !^/robots.txt
RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [QSA,L]
0
Станислав Станислав
25
08.01.2017 11:33
а в роботе прописывать Host: https://domen.com/ ?
0
vituson vituson
2363
08.01.2017 11:55
Да, в роботсе прописываете то зеркало, которое будет главным (https). То есть как обычный переезд с домена на домен (склейка).
0
Станислав Станислав
25
08.01.2017 11:58
поставил эти строки, сайт перестал работать, убрал - заработал
RewriteCond %{HTTPS} =off
RewriteCond %{REQUEST_URI} !^/robots.txt
RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [QSA,L]
0
vituson vituson
2363
08.01.2017 12:17
У вас наверняка уже есть переадресация на https где-то в htaccess. Вам нужно в ваши правила добавить исключение для роботса - строчку (чтобы при обращении к роботсу не было переадресации на Https):

RewriteCond %{REQUEST_URI} !^/robots.txt
0
Станислав Станислав
25
08.01.2017 12:28
ErrorDocument 403 http://pepzakaz.ru/403.htm
ErrorDocument 404 http://pepzakaz.ru/404.htm
ErrorDocument 502 http://pepzakaz.ru/502.htm
php_flag magic_quotes_gpc off
php_value session.save_path /home/u146473/pepzakazru/www/tmp

# WebAsyst .htaccess config
AddDefaultCharset UTF-8
Options -Indexes
DirectoryIndex index.php
RewriteEngine On
RewriteRule ^(home|en|shop)/(.*)$ /$2 [R=301,L]
RewriteCond %{HTTP_HOST} ^www\.pepzakaz\.ru [NC]
RewriteRule ^(.*)$ https://pepzakaz.ru/$1 [L,R=301]

#RewriteCond %{HTTP_HOST} ^pepzakaz\.ru [NC]
#RewriteRule ^(.*)$ https://www.pepzakaz.ru/$1 [L,R=301]

<IfModule mod_expires.c>
ExpiresActive On
ExpiresDefault "access 7 days"
ExpiresByType application/javascript "access plus 1 year"
ExpiresByType text/javascript "access plus 1 year"
ExpiresByType text/css "access plus 1 year"
ExpiresByType text/html "access plus 7 day"
ExpiresByType text/x-javascript "access 1 year"
ExpiresByType image/gif "access plus 1 year"
ExpiresByType image/jpeg "access plus 1 year"
ExpiresByType image/png "access plus 1 year"
ExpiresByType image/jpg "access plus 1 year"
ExpiresByType image/x-icon "access 1 year"
ExpiresByType application/x-shockwave-flash "access 1 year"
</IfModule>
<ifModule mod_headers.c>
<filesMatch "\.(ico|pdf|flv|jpg|jpeg|png|gif|swf)$">
Header set Cache-Control "max-age=2592000, public"
</filesMatch>
<filesMatch "\.(css|js)$">
Header set Cache-Control "max-age=2592000, public"
</filesMatch>
<filesMatch "\.(xml|txt)$">
Header set Cache-Control "max-age=172800, public, must-revalidate"
</filesMatch>
<filesMatch "\.(html|htm|php)$">
Header set Cache-Control "max-age=172800, private, must-revalidate"
</filesMatch>
</ifModule>
<IfModule mod_setenvif.c>
BrowserMatch "MSIE" force-no-vary
BrowserMatch "Mozilla/4.[0-9]{2}" force-no-vary
</IfModule>

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.(php)\ HTTP/
RewriteRule ^index.(php)$ http://www.pepzakaz.ru/ [R=301,L]

#shop
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^shop/(repo_themes|js|3rdparty|images_common|products_pictures|images|themes|css)/(.*)$ published/SC/html/scripts/$1/$2?frontend=1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^shop/(imgval.php|wbs_messageserserver.php) published/SC/html/scripts/$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^(repo_themes|js|3rdparty|images_common|products_pictures|images|themes|css)/(.*)$ published/SC/html/scripts/$1/$2?frontend=1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^(imgval.php|wbs_messageserserver.php|get_file.php) published/SC/html/scripts/$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^shop(.*) published/SC/html/scripts/$1&frontend=1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^photos/(album|view)/(.*) photos/index.php?q=$1/$2 [L,QSA]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^photos/fullsize/(.*)/(.*) photos/getfullsize.php?filename=$1&hash=$2 [L,QSA]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^photos/(.+)$ photos/index.php?q=$1 [L,QSA]

#common
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^login/(.*) login/index.php [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^installer/(.*) installer/index.php [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^published/$ published/index.php [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !^published
RewriteRule (.*) published/SC/html/scripts/index.php?__furl_path=$1&frontend=1 [QSA]
0
vituson vituson
2363
08.01.2017 12:43
Попробуйте второй блок правил изменить так:

# WebAsyst .htaccess config
AddDefaultCharset UTF-8
Options -Indexes
DirectoryIndex index.php
RewriteEngine On
RewriteRule ^(home|en|shop)/(.*)$ /$2 [R=301,L]
RewriteCond %{HTTP_HOST} ^www\.pepzakaz\.ru [NC]
RewriteCond %{REQUEST_URI} !^/robots.txt
RewriteRule ^(.*)$ https://pepzakaz.ru/$1 [L,R=301]
0
vituson vituson
2363
08.01.2017 12:47
Если будет все нормально, проверьте, как открывается роботс-тхт запросом в адресной строке браузера. Он должен открыться по обоим протоколам: по http и по https без переадресации.
0
Станислав Станислав
25
08.01.2017 12:46
исправил. сайт работает. подожду проверки робота и отпишу что и как
0
vituson vituson
2363
08.01.2017 12:51
Почему-то все равно переадресация. Попробуйте еще так:

# WebAsyst .htaccess config
AddDefaultCharset UTF-8
Options -Indexes
DirectoryIndex index.php
RewriteEngine On
RewriteRule ^(home|en|shop)/(.*)$ /$2 [R=301,L]
RewriteCond %{HTTPS} =off
RewriteCond %{REQUEST_URI} !^/robots.txt
RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [QSA,L]
0
Станислав Станислав
25
08.01.2017 12:51
сейчас воткнем
0
Станислав Станислав
25
08.01.2017 12:54
не совсем понятно мне. ведь должен быть переадресация же? а иначе вроде как ПС будет считать что 2 сайта?
0
vituson vituson
2363
08.01.2017 12:57
Да, переадресация должна быть, НО с исключением для одного файла - robots.txt.
Если исключения нет для него, то Яндекс его "не видит по старому адресу", поэтому и пишет, что надо настроить роботс по двум адресам.
0
Станислав Станислав
25
08.01.2017 12:57
вон что оказывается. заморочки с этим https
0
shopeq shopeq
141
08.01.2017 17:36
потом яндекс напишет о том, что фавикон для http не найден и так далее .....
0
Станислав Станислав
25
08.01.2017 18:28
уже было такое. я просто отправил на повторную проверку и ошибка пропала.
вот что ответили мне на хостинге
"К сожалению, на аккаунтах виртуального хостинга отсутствует возможность поддержки одновременно двух протоколов http и https. При включении SSL происходит перенаправление на https основного домена. При этом все поддомены остаются на протоколе без шифрования http.
Для более тонкой настройки сервера Вы можете обратить внимание на виртуальные сервера VPS https://www.majordomo.ru/hosting/vps" Поэтому вроде как дают бесплатный сертификат, а толку от него мало из-за ограничений
0
vituson vituson
2363
08.01.2017 18:36
На Beget.ru все работает без проблем (по обоим протоколам).
0
Станислав Станислав
25
08.01.2017 18:39
Зашел на их сайт. Интересное предложение новогоднее у них. Надо будет им написать)
0
Станислав Станислав
25
10.01.2017 08:51
Сегодня Яндекс посетил мой сайт и убрал проблему с файлом robots. Я так думаю помогло решение egorhlebov т.к. другие решения не подходили по техническим причинам не возможности настройки их на моем хостинге
0