Robots.txt и как правильно его сделать?

на счет формата: txt - это и есть формат. Ничего общего с head не имеет/ Т есче:
1. https://support.google.com/webmasters/answer/6062608?hl=ru
2. https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml?lang=ru

Если движок Wordpress, то вот пример robots.txt, просто название сайта поменять http://beguza.ru/robots.txt

а если не вордпресс, то так же пойдет? то есть файл роботс это всего лишь одна строчка???

Все, что написано на странице является содержимым файла. Не одна строчка.

Руслан, перейдите по ссылке №2 в ответе выше и почитайте что такое роботс, для чего он нужен и каким он должен быть.
У разных движков содержимое роботса отличается.
Дефолтный файл роботса идет вместе с движком, его также можно скачать или почитать каким он должен быть на официальном сайте любого движка.

Вы задаете вопросы, ответы на которые можно найти на первой странице выдачи яндекса или гугла.

User-agent: Yandex
правильно ли я понимаю, если прописать вот это, то этого будет достаточно, чтобы все роботы Яндекса посещали сайт?
А для гугл соответственно: User-agent: Google???

Вот подробно - vituson.ru/optimizaciya-wordpress-kak-sostavit-pravilnyj-robots-txt

Руслан здесь найдёшь всё https://kwork.ru/ref/49301

Руслан

Пропишите универсальную строку:

User-agent: *

она для всех ботов работает.

что ещё можно посоветовать человеку, если он не хочет уделить 15 минут чтению официальной справки поисковых систем. Руслан, роботсом Вы не заставите поисковик индексировать свой сайт, этот файл даёт пауку рекомендации, а тот хочет принимает, а хочет нет. Почитайте для чего вообще этот файл.

drVadz - правильно пишет