SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Вопрос по файлу robots

Стас Шмелин Стас Шмелин  
0
  16.12.2019 10:29       723    

Проходили модерацию в Гугл Мерчант и не прошли из-за строчки в файле robots:

"Ваш магазин не прошел модерацию в Google Merchant из-за того,

что в файле для роботов (robots.txt) есть строка, которая закрывает для роботов каталог с Вашими товарами.

User-Agent: *

Disallow: /*?utm_source=

Подскажите, пожалуйста, верное решение и почему?
Спасибо.


Ответы на пост (17) Написать ответ
panfilov_dm panfilov_dm
131
16.12.2019 10:44
привет. так вопрос задавать некорректно. Данных для того, чтоб подсказать вообще нет. вряд ли у вас каталоги содержат изначально utm_метки. Скорее всего вы их дописываете для отслеживания. 
Нужен весь файл. можно без зеркал и карты сайта. 
Но если Вы по какой то причине генерируете ссылки на товары сразу с метками, то это самое тупое, что я встречал. Постарайтесь сформулировать вопрос иначе и более подробно, дайте нам с чем разбираться. А одна строчка никак не поможет, да и не раскрывает вообще ничего.
Содержание файла роботс.
Пару ссылок, которые проверяет мерчант.
И попробуем разобраться
 
1
Стас Шмелин Стас Шмелин
0
16.12.2019 11:26
Приветствую!
Спасибо за ответ.
Каталоги изначально не содержат utm_метки.
Вот содержание файла:

User-Agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /search/
Disallow: /auth/
Disallow: /auth.php
Disallow: /basket
Disallow: /order
Disallow: /personal/
Disallow: /test/
Disallow: /ajax/
Disallow: */index.php
Disallow: /*index.php
Disallow: /*index.php$
Disallow: /*bitrix_include_areas=
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*print
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*password
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*type=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*?*
Disallow: /*/search/
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*arrFilter
Disallow: /*set_filter=
Disallow: /*COURSE_ID=
Disallow: /*?COURSE_ID=
Disallow: /*?PAGEN
Disallow: /*PAGEN_
Disallow: /*PAGE_NAME=
Disallow: /*SHOWALL
Disallow: /*show_all=
Disallow: /*filter
Disallow: /*?display=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?view_result=
Disallow: /*&view_result=
Disallow: /cabinet/
Disallow: /comments/
Disallow: /compare-products/
Disallow: /country/
Disallow: /delivery/
Disallow: /module/
Disallow: /discount/
Disallow: /downloads/
Disallow: /barcode_box/
Disallow: /barcode_rrp_box/
Disallow: /barcode/
Disallow: /box_gw/
Disallow: /box_nw/
Disallow: /box_size/
Disallow: /ea_per_box/
Disallow: /ea_per_rrp-box/
Disallow: /net_weight/
Disallow: /oplata/
Disallow: /pa_barcode_box/
Disallow: /pa_barcode_rrp_box/
Disallow: /pa_barcode/
Disallow: /pa_box_gw/
Disallow: /pa_box_nw/
Disallow: /pa_box_size/
Disallow: /pa_country/
Disallow: /pa_drained_weight/
Disallow: /pa_ea_per_box/
Disallow: /pa_ea_per_rrp-box/
Disallow: /pa_net_weight/
Disallow: /pa_shelf-life/
Disallow: /pa_storage-temperature/
Disallow: /pa_vat/
Disallow: /shelf-life/
Disallow: /drained_weight/
Disallow: /product-category/
Disallow: /product-tag/
Disallow: /production/
Disallow: /returns/
Disallow: /reward-points/
Disallow: /seaweed_snack/
Disallow: /shop/
Disallow: /diploma.php
Disallow: /sib_17.php
Disallow: /sib_kalciy.php
Disallow: /sib_kalciy.php/
Disallow: /sib_kim.php/
Disallow: /sib_prem.php
Disallow: /sib_roll.php
Disallow: /sib_roll.php/
Disallow: /sib_sushi.php
Disallow: /sib_vas.php
Disallow: /sib_vas.php/
Disallow: /forpartners.php
Disallow: /expo.php
Disallow: /sibuki_catalog/
Disallow: /sibuki-catalog/
Disallow: /sibuki-catalog
Disallow: /sibuki.php/
Disallow: /sibuki.php
Disallow: /cooking.php
Disallow: /cooking1.php
Disallow: /cooking2.php
Disallow: /cooking3.php
Disallow: /cooking4.php
Disallow: /cooking5.php
Disallow: /cooking6.php
Disallow: /sibuki_all.htm/
Disallow: /simplecheckout/
Disallow: /simpleregister/
Disallow: /sotrudnichestvo/
Disallow: /specials/
Disallow: /storage-temperature/
Disallow: /stories/
Disallow: /test/
Disallow: /uslugi/
Disallow: /vat/
Disallow: /wishlist/
Disallow: /buys/
Disallow: /author/
Disallow: /privacy/
Disallow: /feed/
Disallow: /mycity/
Disallow: /newsletter/
Disallow: /address-book/
Disallow: /payment/
Disallow: /brands/
Disallow: /terms/
Disallow: /o-kompanii/
Disallow: /about_us/
Disallow: /contact-us/
Disallow: /contact
Disallow: /news/
Disallow: /news
Disallow: /blog/
Disallow: /blog
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /wp-json/
Disallow: /tag/
Allow: /bitrix/js/
Allow: /bitrix/css/
Allow: /bitrix/components/
Allow: /bitrix/templates/
Allow: /bitrix/images/
Allow: /search/map.php

Ссылки, наверное, чуть позже смогу кинуть.

Было предложение убрать из строчки символ "/", но не совсем уверен, что это правильно..
0
panfilov_dm panfilov_dm
131
16.12.2019 11:33
Без ссылок на товар трудно разобраться. Но рядом стоит вот эта строчка: Disallow: /*?* и больше похоже, что именно она закрывает доступ к товарам. Но опять же, я совсем не знаю как у вас генерируются ссылки на товары. Часто встречается, что ссылки идут с гет запросами, а эти запросы содержат "?". Если да, то именно эта строчка помеха.  Было предложение убрать из строчки символ "/", но не совсем уверен, что это правильно.. Это не повлияет. Так как "/" этот символ всего лишь указывает о глубине вложенности следующих страниц. И в данном случае просто любое содержание после главной страницы
0
Ouroboros Ouroboros
1446
16.12.2019 11:34
Было предложение убрать из строчки символ "/", но не совсем уверен, что это правильно..
Абсолютно неправильно. Кто такое предложил?)
А ссылки в файле для Гугл Мерчанта какой имеют вид? Может там они содержат метку?
0
Стас Шмелин Стас Шмелин
0
16.12.2019 11:40
Сейчас проверил файл еще раз. Да, в файле ссылки содержат метку.
0
Стас Шмелин Стас Шмелин
0
16.12.2019 11:37
Я понял. 
Какую инфу мне ещё скинуть?
0
panfilov_dm panfilov_dm
131
16.12.2019 11:47
так отправьте без меток и по итогам проверки уже будет ясно. Скорее всего пройдет проверку. Но сами проверяйте ссылки в инструменте проверки: https://support.google.com/webmasters/answer/6062598?hl=ru на это странице есть кнопка попробовать, чтоб попасть на страницу инструмента. Он Вам точно подскажет какая строка мешает индексации. Думаю разберетесь
0
Стас Шмелин Стас Шмелин
0
16.12.2019 11:50
Ок, спасибо.
0
Стас Шмелин Стас Шмелин
0
16.12.2019 12:34
Файл robots ошибок в Гугле не показывает.
0
panfilov_dm panfilov_dm
131
16.12.2019 13:13
так отлично же. На всякий случай уточню, там уже разберетесь.
Я имел ввиду не ошибки в самом файле. А проверить запреты на индексацию.
То есть у вас имеется файл с набором разрешений и запретов (Ваш robots.txt).
А ниже на той же странице сервиса для проверки, вы можете указать ссылку для проверки ( укажите одну из тех, что планируете загрузить в мерчант).
И сервис покажет доступен или нет адрес для индексации.
Если такая проверка показывает, что ссылка доступна для индексации, тогда проблем не должно возникать.
0
Стас Шмелин Стас Шмелин
0
16.12.2019 13:18
Ок.
Показывает ошибку и указывает на эту строчку:
Disallow: /*?utm_source=
Я так понимаю, что нужно убрать "хвост" в конце ссылки из utm-метки и проверку пройдем. 
0
panfilov_dm panfilov_dm
131
16.12.2019 13:34
Ну конечно! Я думал Вы это поняли, когда вам еще 

Eserador

ответил. 
Как по вашему гугл проиндексирует ссылку, если вы запретили ее индексацию?
0
Стас Шмелин Стас Шмелин
0
16.12.2019 13:36
Ок)
Спасибо за помощь!)
0
Стас Шмелин Стас Шмелин
0
16.12.2019 15:10
Еще один вопрос, пожалуйста..
Чтобы устранить данную ошибку, нужно удалить строчку "Disallow: /*?utm_source=" из файла роботс?
0
paoloarmani paoloarmani
48
17.12.2019 09:17
Да удалите эту строчку
и еще я не совсем понимаю зачем у Вас запрет на эти строчки
Disallow: */index.php
Disallow: /*index.php
0
paoloarmani paoloarmani
48
17.12.2019 09:20
Эту тоже попробуйте убрать если нужные страницы запрещены к индексации
Disallow: /*?*
0
Стас Шмелин Стас Шмелин
0
17.12.2019 09:22
Добрый день!
Ок, спасибо.
Файл составлял не я, выясню про эти строчки
0