Всем привет. мой сайт http://казметрология.рф или www.казметрология.рф не знаю как правильно есть еще и на https
вопрос в том что в гугл консоле пишет ошибку на robots.txt на это Аllow: /wp-includes/images
мне просто нужен нормальный файл роботс, этот я просто скачал на какомто ресурсе уж не помню, сам файл вот:
User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Allow: /wp-admin/admin-ajax.php
Аllow: /wp-includes/images
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Allow: /wp-admin/admin-ajax.php
Аllow: /wp-includes/images
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Allow: /wp-admin/admin-ajax.php
Аllow: /wp-includes/images
Host:
https://xn--80agfhhhkgtbtx9o.xn--p1aiSitemap:
https://xn--80agfhhhkgtbtx9o.xn--p1ai/sitemap.xml...Sitemap:
https://xn--80agfhhhkgtbtx9o.xn--p1ai/sitemap.xmlПомогите пжл дайте правильный файл роботс
ООООГромное спасибо за ПОМОЩЬ!
bm2707
02.04.2017 11:00
2 750
Например - так.
User-agent: *
Disallow: /wp-
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Disallow: /kontakty
Disallow: /index
Disallow: /feed
Disallow: /?
Disallow: /*index
Disallow: /*post=
Disallow: /*view-
Disallow: /*?
Disallow: /*.xls$
Disallow: /*.doc$
Disallow: /*.pdf$
Disallow: /*.rtf$
Disallow: /*.pptx$
Disallow: /*.rar$
Disallow: /*.xlsx$
Allow: /
Host: https://xn--80agfhhhkgtbtx9o.xn--p1ai
Sitemap: https://xn--80agfhhhkgtbtx9o.xn--p1ai/sitemap.xml...
Sitemap: https://xn--80agfhhhkgtbtx9o.xn--p1ai/sitemap.xml
Для более "взвешенного" решения стоит смотреть google.com/webmasters/tools
И лучше знать WP (я лично - этот cms - ненавижу)
Общие же рекомендации...
1. Уйти из *.рф (хотя бы на *.ru) "Склеить" совсем не сложно, естественно.
2. Исправить все title и h1 на более релевантные.
3. "Склеить" все "зеркала" в .htaccess
4. Перейти адекватно на протокол https. Переадресации с незащищенного протокола - нет, дубль сайта - есть.
Протокол настроен - плохо, сайт только "частично" работает по https, надо смотреть - что работает "мимо".
Основное на сей день - п.4 и п.1 (имхо).
Сайт (опять имхо) нормальный, отлажен нехорошо по seo. Надо править.
В дополнение... это долго прописывать, честно, лень. Проще поправить, чем написать. Много мелких "недостач", ошибок в коде, не оптимизирован код...
У проекта есть админ, со временем всё нормализуется, наверное. "База" неплохая.
.htaccess нужно поправить. Склейки протоколов нет.
а это тоже нужно закрывать? Disallow: /kontakty
Второй вопрос: Зачем Disallow: /index если есть Disallow: /*index
Disallow: /? есть Disallow: /*?
Без статистики адекватно прописать файл не выйдет.
Ну, через час-три "рыбу" обозначить можно. Файл у вас, действительно, "никакой", увы.
Начинать, однако, в вашем случае, стоит с .htaccess. Кто-то "лихо" вам отстроил WP.
Публикните уж заодно .htaccess. Любопытно, как там "понапиханы" склейки.
Сайт, тем не менее, - адекватно "слеплен", WP вообще "убить" сложно, этого сделать не удалось, хотя "кто-то" старался :)
Пауза, час-три. Надо подумать. Если нужно "грамотно", то нужна статистика и больше чем час-три времени.
http://robotstxt.org.ru/robotsexclusion/guide
Не обязательно, естественно. Где-то был огромный дискуссий на этот счет, релевантна ли страница Контакты и "что с этим делать". Давно, лет... десять назад. Меня лично убедили, что лучше "контактные страницы" в robots.txt "закрывать".
Сложная была аргументация, с... всяко разным. Посмотрите, при желании, на хабре. Я для себя - принял и рекомендую.
Это, собстно, вопрос... достаточно непринципиальный. На этой странице, типо, робот гугла "теряется" и может уйти :) и пр. Метафизика и ерунда. Это... размышления для теоретиков, принципиально навредить участие такой страницы "в индексе" не может. Я - "закрываю", по старой памяти.
Но естественно все делать нужно "с умом" и понимать для кого вы работаете. Если вы работаете на всю Россию, то преимущество не получите, т.к. такких уже много, а вот если на конкретный регион, то велика вероятность естественного роста позиций, благодаря вот такому вот приему