Нужен robots

bm2707 bm2707  
20
  02.04.2017 11:00       1 223     Помощь  
Всем привет. мой сайт http://казметрология.рф или www.казметрология.рф не знаю как правильно есть еще и на https
вопрос в том что в гугл консоле пишет ошибку на robots.txt на это  Аllow: /wp-includes/images
мне просто нужен нормальный файл роботс, этот я просто скачал на какомто ресурсе уж не помню, сам файл вот:
User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Allow: /wp-admin/admin-ajax.php
Аllow: /wp-includes/images


User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Allow: /wp-admin/admin-ajax.php
Аllow: /wp-includes/images

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Allow: /wp-admin/admin-ajax.php
Аllow: /wp-includes/images

Host: https://xn--80agfhhhkgtbtx9o.xn--p1ai

Sitemap: https://xn--80agfhhhkgtbtx9o.xn--p1ai/sitemap.xml...
Sitemap: https://xn--80agfhhhkgtbtx9o.xn--p1ai/sitemap.xml


Помогите пжл дайте правильный файл роботс


ООООГромное спасибо за ПОМОЩЬ!

Ответы на пост (9) Написать ответ
sansan sansan
1679
02.04.2017 12:41
Ну... давайте пропишем что-то "базовое".
Например - так.

User-agent: *
Disallow: /wp-
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Disallow: /kontakty
Disallow: /index
Disallow: /feed
Disallow: /?
Disallow: /*index
Disallow: /*post=
Disallow: /*view-
Disallow: /*?
Disallow: /*.xls$
Disallow: /*.doc$
Disallow: /*.pdf$
Disallow: /*.rtf$
Disallow: /*.pptx$
Disallow: /*.rar$
Disallow: /*.xlsx$
Allow: /

Host: https://xn--80agfhhhkgtbtx9o.xn--p1ai
Sitemap: https://xn--80agfhhhkgtbtx9o.xn--p1ai/sitemap.xml...
Sitemap: https://xn--80agfhhhkgtbtx9o.xn--p1ai/sitemap.xml

Для более "взвешенного" решения стоит смотреть google.com/webmasters/tools
И лучше знать WP (я лично - этот cms - ненавижу)

Общие же рекомендации...
1. Уйти из *.рф (хотя бы на *.ru) "Склеить" совсем не сложно, естественно.
2. Исправить все title и h1 на более релевантные.
3. "Склеить" все "зеркала" в .htaccess
4. Перейти адекватно на протокол https. Переадресации с незащищенного протокола - нет, дубль сайта - есть.
Протокол настроен - плохо, сайт только "частично" работает по https, надо смотреть - что работает "мимо".

Основное на сей день - п.4 и п.1 (имхо).
Сайт (опять имхо) нормальный, отлажен нехорошо по seo. Надо править.

В дополнение... это долго прописывать, честно, лень. Проще поправить, чем написать. Много мелких "недостач", ошибок в коде, не оптимизирован код...
У проекта есть админ, со временем всё нормализуется, наверное. "База" неплохая.

.htaccess нужно поправить. Склейки протоколов нет.
2
Решение
bm2707 bm2707
20
02.04.2017 13:11
спасибо, закинул в роботс даст Бог поможет!
а это тоже нужно закрывать? Disallow: /kontakty

0
shopeq shopeq
141
03.04.2017 12:09
У меня есть вопрос, а зачем 2 раза Sitemap: https://xn--80agfhhhkgtbtx9o.xn--p1ai/sitemap.xml до поисковика с первого раза не доходит ?
Второй вопрос: Зачем Disallow: /index если есть Disallow: /*index
Disallow: /? есть Disallow: /*?
0
sansan sansan
1679
02.04.2017 11:30
"Дать" роботс - нельзя. его прописывать нужно. Причем - с гугловским вебмастером "в руках".
Без статистики адекватно прописать файл не выйдет.

Ну, через час-три "рыбу" обозначить можно. Файл у вас, действительно, "никакой", увы.

Начинать, однако, в вашем случае, стоит с .htaccess. Кто-то "лихо" вам отстроил WP.
Публикните уж заодно .htaccess. Любопытно, как там "понапиханы" склейки.

Сайт, тем не менее, - адекватно "слеплен", WP вообще "убить" сложно, этого сделать не удалось, хотя "кто-то" старался :)

Пауза, час-три. Надо подумать. Если нужно "грамотно", то нужна статистика и больше чем час-три времени.
1
zuma307 zuma307
113
02.04.2017 11:39
Чтобы сделать нормальный файл роботс, надо больше читать, а не копировать чужие, тем более каждый считает, что у него самый правильный роботс
http://robotstxt.org.ru/robotsexclusion/guide
0
Sergexpert Sergexpert
450
02.04.2017 12:00
И еще добавлю. Для каждого сайта персональный роботс пишется. Как такое возможно взять с одного сайта и прописать его к себе. Это вообще полная чушь.
0
sansan sansan
1679
02.04.2017 13:46
Disallow: /kontakty

Не обязательно, естественно. Где-то был огромный дискуссий на этот счет, релевантна ли страница Контакты и "что с этим делать". Давно, лет... десять назад. Меня лично убедили, что лучше "контактные страницы" в robots.txt "закрывать".

Сложная была аргументация, с... всяко разным. Посмотрите, при желании, на хабре. Я для себя - принял и рекомендую.
Это, собстно, вопрос... достаточно непринципиальный. На этой странице, типо, робот гугла "теряется" и может уйти :) и пр. Метафизика и ерунда. Это... размышления для теоретиков, принципиально навредить участие такой страницы "в индексе" не может. Я - "закрываю", по старой памяти.
0
panfilov_dm panfilov_dm
131
03.04.2017 09:58
К стати, отношение ПС к странице контакты очень весомое. Если грамотно прописать страницу контакты, учитывая все разметки и указать все индексы и коды телефонные правильно, то можно получить преимущество в выдаче по конкретному региону. И да, есть смысл называть страницу на более понятном языке для ПС: или contacts, или about (about us). Где то читал об этом опыте, сейчас, если честно, не смогу подкрепить данные ссылкой. Но я активно использую.
Но естественно все делать нужно "с умом" и понимать для кого вы работаете. Если вы работаете на всю Россию, то преимущество не получите, т.к. такких уже много, а вот если на конкретный регион, то велика вероятность естественного роста позиций, благодаря вот такому вот приему
0
sansan sansan
1679
03.04.2017 10:55
Логично. Чаще всего, однако, на контактной странице - адрес и форма обратной связи... и - всё, "ни уму ни сердцу".
0