Нужно ли в robots.txt указывать главное зеркало сайта?

rus85 rus85   24.08.2016 19:10   2 543  
Нужно ли в файле robots.txt указывать главное зеркало сайта? 
На данный момент и в яндекс и в гугл выбрана опция на усмотрение робота, и главным зеркалом считается http а с www стоит редирект 301 на http.

Ответы на вопрос (12) Написать ответ
tryam tryam   24.08.2016 19:19
О чем вы??? Есть понятие site.ru или www.site.ru это и указывается в роботс, в гугл ВМ и яндекс ВМ. HTTP и HTTPS это протоколы и это совсем отдельная тема.
0
rus85 rus85   24.08.2016 19:24
Спасибо что поправили. Не правильно описал вопрос. в роботс не указано главное зеркало, а гугл и яндекс главным считает site.ru а с www.site.ru редирект 301 на site.ru
0
tryam tryam   24.08.2016 19:31
Ну если редирект стоит, то правильно они считают. А в роботсе все равно желательно прописать, там одна строчка, чего гадать то, прописал и забыл.
0
rus85 rus85   24.08.2016 19:45
в роботс прописать: Host: site.ru ?
0
tryam tryam   25.08.2016 07:18
Да все верно, протокол указывать не нужно.
0
sharkson sharkson   24.08.2016 22:04
В роботсе обязтельно указание главного зеркала. Независмо от вебмастера яндекса\гугла.

host: http://site.ru
0
rus85 rus85   24.08.2016 22:12
зачем http ?
0
sharkson sharkson   25.08.2016 01:20
затем что еще есть www и может быть https
Вы же указываете главным одно из зеркал. А по факту у вас их два:
www - неглавное и http - главное. Вот его и надо указать.
0
rus85 rus85   24.08.2016 22:12
если сам не знаешь, не пиши
0
onibiza onibiza   25.08.2016 02:35
Ты пьян? Тебе ответили. После этого ты или скажи спасибо, или дальше иди куда шел.
0
rus85 rus85   25.08.2016 09:35
ЧИТАЙ!!! https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#host
0
Tornado007 Tornado007   25.08.2016 10:07
Я при переклейки домена, в роботсе указывал главное зеркало.
0

Войдите, чтобы написать ответ
Вход Регистрация

Гарант сделок продажи и покупки сайтов, всего за 5%.