SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Robots.txt и как правильно его сделать?

Руслан Семенов Руслан Семенов  
10
  23.09.2016 16:06       692     Помощь  
Как правильно указать параметры файла для роботс для поисковиков? Где взять инфу? Много ли придется писать в head сайта? В каком формате обычно этот файл?

Ответы на пост (12) Написать ответ
drVadz drVadz
0
23.09.2016 16:43
на счет формата: txt - это и есть формат. Ничего общего с head не имеет/ Т есче:
1. https://support.google.com/webmasters/answer/6062608?hl=ru
2. https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml?lang=ru
0
Skib Skib
866
23.09.2016 16:51
Если движок Wordpress, то вот пример robots.txt, просто название сайта поменять http://beguza.ru/robots.txt
1
Руслан Семенов Руслан Семенов
10
23.09.2016 16:57
а если не вордпресс, то так же пойдет? то есть файл роботс это всего лишь одна строчка???
0
Skib Skib
866
23.09.2016 17:35
Все, что написано на странице является содержимым файла. Не одна строчка.
0
sharkson sharkson
82
23.09.2016 17:10
Руслан, перейдите по ссылке №2 в ответе выше и почитайте что такое роботс, для чего он нужен и каким он должен быть.
У разных движков содержимое роботса отличается.
Дефолтный файл роботса идет вместе с движком, его также можно скачать или почитать каким он должен быть на официальном сайте любого движка.
0
sharkson sharkson
82
23.09.2016 17:11
Вы задаете вопросы, ответы на которые можно найти на первой странице выдачи яндекса или гугла.
0
Руслан Семенов Руслан Семенов
10
23.09.2016 17:31
User-agent: Yandex
правильно ли я понимаю, если прописать вот это, то этого будет достаточно, чтобы все роботы Яндекса посещали сайт?
А для гугл соответственно: User-agent: Google???
0
vituson vituson
2374
23.09.2016 17:25
Вот подробно - vituson.ru/optimizaciya-wordpress-kak-sostavit-pravilnyj-robots-txt
0
SERJ42 SERJ42
2
23.09.2016 17:33
Руслан здесь найдёшь всё https://kwork.ru/ref/49301
0
sharkson sharkson
82
23.09.2016 17:40
Руслан

Пропишите универсальную строку:

User-agent: *

она для всех ботов работает.
0
drVadz drVadz
0
23.09.2016 18:40
что ещё можно посоветовать человеку, если он не хочет уделить 15 минут чтению официальной справки поисковых систем. Руслан, роботсом Вы не заставите поисковик индексировать свой сайт, этот файл даёт пауку рекомендации, а тот хочет принимает, а хочет нет. Почитайте для чего вообще этот файл.
0
NikeFIT NikeFIT
10
24.09.2016 11:10
drVadz - правильно пишет
0