Robots.txt. Как настроить редирект?
Такая проблема. Перешел недавно на https, настроил все как надо. Склеил домен, редирект настроил. Но проходит пару дней в яндексе появляются , то дубли страниц, то вообще не идексируют. Зашел в вебмастер, смотрю, мол критическая ошибка robots отвечает редиректом. Убрал редирект с .htaccess. Теперь в google сайт открывается в http. Теперь сам вопрос, как правильно настроить редирект, что бы яндекс мог robots.txt анализировать
С уважением и надеюсь на вашу помощь
<FilesMatch "robots.txt$">
RewriteEngine off
</FilesMatch>
DirectoryIndex index.php
RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]
RewriteRule ^(.*)$ https://%1/$1 [R=301,L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond $1 !^(index\.php|robots\.txt)
RewriteRule ^(.*)$ index.php?/$1 [L]
RewriteEngine On
RewriteCond %{SERVER_PORT} !^443$
RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]
<FilesMatch "robots.txt$">
RewriteEngine off
</FilesMatch>