В треде на Reddit Джон Мюллер ответил на вопрос о том, что будет, если не поставить index внутри метатега robots:
Google игнорирует метатеги robots index и follow при индексации;
Index — значение по умолчанию, прописывать его отдельно не надо;
Googlebot игнорирует теги index и follow, поэтому их наличие — это пустая трата html-пространства.
Некоторые издатели используют follow в связке с noindex, но это не приводит ни к какому результату, поскольку поисковик не может переходить по неиндексированным страницам. Мюллер ссылается на официальную документацию Google по работе с тегами. Подробнее о метатегах robots и X-Robots мы рассказывали в статье.
