Robots tag, дубли, индексация

Это данные для Гугла из мета-тега robots. Чего не нравится-то? Читайте доку https://support.google.com/webmasters/answer/79812?hl=ru

всмысле чего не нравится. у других успешных сайтов такого нету, не один сайт просмотрел, 

Ерундой занимаетесь. Но совет прежний, читайте доку по мета-тегу robots.

А если админы тех "успешных сайтов" пойдут с 9-го этажа прыгать - тоже пойдете?)

Тоже мне умники, нет чтобы объяснить понятно лаконично , начинаете тут ахинею нести,.... Да при чем тут прыжок с 9 этажа, какие то детские сравнения про этаж....

Специально для вас, боялся что другого не поймете. А оно вон как оказалось...
Вам же сказали лаконично - это ерунда. Понятней и лаконичней, бля, некуда. Ссылку еще дали где все описано.
Хотите сделать как на "успешном сайте" - удалите его к хренам из кода. В чем проблема то?

Хорошо, верю теперь что это Ерунда бля,  для меня например в большинстве случаев инструкция Гугл непонятна, так же как поддержка Виндовс инструкции, если для вас это ясно, а для других это может не совсем.