Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.
Проходили модерацию в Гугл Мерчант и не прошли из-за строчки в файле robots:
"Ваш магазин не прошел модерацию в Google Merchant из-за того,
что в файле для роботов (robots.txt) есть строка, которая закрывает для роботов каталог с Вашими товарами.
User-Agent: *
Disallow: /*?utm_source=
Подскажите, пожалуйста, верное решение и почему?
Спасибо.
Поможем улучшить ваш сайт.
Нужен весь файл. можно без зеркал и карты сайта.
Но если Вы по какой то причине генерируете ссылки на товары сразу с метками, то это самое тупое, что я встречал. Постарайтесь сформулировать вопрос иначе и более подробно, дайте нам с чем разбираться. А одна строчка никак не поможет, да и не раскрывает вообще ничего.
Содержание файла роботс.
Пару ссылок, которые проверяет мерчант.
И попробуем разобраться
Спасибо за ответ.
Каталоги изначально не содержат utm_метки.
Вот содержание файла:
User-Agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /search/
Disallow: /auth/
Disallow: /auth.php
Disallow: /basket
Disallow: /order
Disallow: /personal/
Disallow: /test/
Disallow: /ajax/
Disallow: */index.php
Disallow: /*index.php
Disallow: /*index.php$
Disallow: /*bitrix_include_areas=
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*print
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*password
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*type=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*?*
Disallow: /*/search/
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*arrFilter
Disallow: /*set_filter=
Disallow: /*COURSE_ID=
Disallow: /*?COURSE_ID=
Disallow: /*?PAGEN
Disallow: /*PAGEN_
Disallow: /*PAGE_NAME=
Disallow: /*SHOWALL
Disallow: /*show_all=
Disallow: /*filter
Disallow: /*?display=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?view_result=
Disallow: /*&view_result=
Disallow: /cabinet/
Disallow: /comments/
Disallow: /compare-products/
Disallow: /country/
Disallow: /delivery/
Disallow: /module/
Disallow: /discount/
Disallow: /downloads/
Disallow: /barcode_box/
Disallow: /barcode_rrp_box/
Disallow: /barcode/
Disallow: /box_gw/
Disallow: /box_nw/
Disallow: /box_size/
Disallow: /ea_per_box/
Disallow: /ea_per_rrp-box/
Disallow: /net_weight/
Disallow: /oplata/
Disallow: /pa_barcode_box/
Disallow: /pa_barcode_rrp_box/
Disallow: /pa_barcode/
Disallow: /pa_box_gw/
Disallow: /pa_box_nw/
Disallow: /pa_box_size/
Disallow: /pa_country/
Disallow: /pa_drained_weight/
Disallow: /pa_ea_per_box/
Disallow: /pa_ea_per_rrp-box/
Disallow: /pa_net_weight/
Disallow: /pa_shelf-life/
Disallow: /pa_storage-temperature/
Disallow: /pa_vat/
Disallow: /shelf-life/
Disallow: /drained_weight/
Disallow: /product-category/
Disallow: /product-tag/
Disallow: /production/
Disallow: /returns/
Disallow: /reward-points/
Disallow: /seaweed_snack/
Disallow: /shop/
Disallow: /diploma.php
Disallow: /sib_17.php
Disallow: /sib_kalciy.php
Disallow: /sib_kalciy.php/
Disallow: /sib_kim.php/
Disallow: /sib_prem.php
Disallow: /sib_roll.php
Disallow: /sib_roll.php/
Disallow: /sib_sushi.php
Disallow: /sib_vas.php
Disallow: /sib_vas.php/
Disallow: /forpartners.php
Disallow: /expo.php
Disallow: /sibuki_catalog/
Disallow: /sibuki-catalog/
Disallow: /sibuki-catalog
Disallow: /sibuki.php/
Disallow: /sibuki.php
Disallow: /cooking.php
Disallow: /cooking1.php
Disallow: /cooking2.php
Disallow: /cooking3.php
Disallow: /cooking4.php
Disallow: /cooking5.php
Disallow: /cooking6.php
Disallow: /sibuki_all.htm/
Disallow: /simplecheckout/
Disallow: /simpleregister/
Disallow: /sotrudnichestvo/
Disallow: /specials/
Disallow: /storage-temperature/
Disallow: /stories/
Disallow: /test/
Disallow: /uslugi/
Disallow: /vat/
Disallow: /wishlist/
Disallow: /buys/
Disallow: /author/
Disallow: /privacy/
Disallow: /feed/
Disallow: /mycity/
Disallow: /newsletter/
Disallow: /address-book/
Disallow: /payment/
Disallow: /brands/
Disallow: /terms/
Disallow: /o-kompanii/
Disallow: /about_us/
Disallow: /contact-us/
Disallow: /contact
Disallow: /news/
Disallow: /news
Disallow: /blog/
Disallow: /blog
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /wp-json/
Disallow: /tag/
Allow: /bitrix/js/
Allow: /bitrix/css/
Allow: /bitrix/components/
Allow: /bitrix/templates/
Allow: /bitrix/images/
Allow: /search/map.php
Ссылки, наверное, чуть позже смогу кинуть.
Было предложение убрать из строчки символ "/", но не совсем уверен, что это правильно..
А ссылки в файле для Гугл Мерчанта какой имеют вид? Может там они содержат метку?
Какую инфу мне ещё скинуть?
Я имел ввиду не ошибки в самом файле. А проверить запреты на индексацию.
То есть у вас имеется файл с набором разрешений и запретов (Ваш robots.txt).
А ниже на той же странице сервиса для проверки, вы можете указать ссылку для проверки ( укажите одну из тех, что планируете загрузить в мерчант).
И сервис покажет доступен или нет адрес для индексации.
Если такая проверка показывает, что ссылка доступна для индексации, тогда проблем не должно возникать.
Показывает ошибку и указывает на эту строчку:
Disallow: /*?utm_source=
Я так понимаю, что нужно убрать "хвост" в конце ссылки из utm-метки и проверку пройдем.
Eserador
ответил.
Как по вашему гугл проиндексирует ссылку, если вы запретили ее индексацию?
Спасибо за помощь!)
Чтобы устранить данную ошибку, нужно удалить строчку "Disallow: /*?utm_source=" из файла роботс?
и еще я не совсем понимаю зачем у Вас запрет на эти строчки
Disallow: */index.php
Disallow: /*index.php
Disallow: /*?*
Ок, спасибо.
Файл составлял не я, выясню про эти строчки