Нужен взгляд профессионала

1 В корне там где три папки главных
2 Ну если плагином то должно быть правильно
3 Конечно улучшать можно до бесконечности особенно когда видишь сайт ахаха

1. Нет его в корне
2. Как-то он выглядит странно
3. Добавил сайт

1. Файл robots должен находиться в папке public_html и открываться по адресу ваш-сайт/robots.txt.
2. Карту сайта можно создавать как вам угодно, онлайн сервисы, в ручную и т.д., особой роли это не играет и как правило ее загружают в корень сайта, название в большинстве случаев как и у вас sitemap.xml
3. Не видя сайта о правках и каких то советах говорить невозможно

1. Нет в этой папке, по адресу открывается
2. Хотелось бы понять или верна та, что создалась плагином
3. Добавил

1 Его надо создать
2 Нормально выглядит

1. А откуда он тогда берётся, если по ссылке переходить? Такой создать:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: http://universetoday.ru/sitemap.xml

1. По роботс.
""User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php"
Насколько я понял это виртуальный роботс, автоматически создаваемый вордпресс. Нужно самому создать роботс и залить в корень. Я себе хочу поставить такой как этой статье http://seogio.ru/robots-txt-dlya-wordpress/ . Вчера возникла та же проблема с роботс.

2. Ставь HTTPS пока сайт новый.

Значит есть лучше посмотрите

https://1drv.ms/u/s!AudL6PLK7wBYhc9kEOwzo_y6rgWTHQ нет его там

Ничего создавать не надо. Плагином создается виртуальный сайтемап. Откройте плагин в настройках, там будет ссылка на карту.

Тут вообще то про роботс речь

сорри, только что беседовал про роботс с челом....не переключился ))

а роботс создавать лучше самому

Народ не морочьте ТС мозги. От ваших советов только вред. Как говорил комбат - учите матчасть. Не вылазьте с идиотскими предположениями.

Пиши в личку, помогу разобраться и объясню

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */page/
Host: www или без домен

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments


Sitemap: http://www ли без домен

Тут же всё закрыто

Все не нужное

То есть в итоге так, или в host ещё что добавить?

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */page/
Host: http://universetoday.ru/

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments


Sitemap: http://universetoday.ru/sitemap.xml

Мне как то этого роботса хватает сайтам по 8 лет

Благодарю, а по двум другим вопросам что скажите?

Я уже сказал что ситимеп правильный как у меня у всех

Кстати это Disallow: */page/ страницы закрыты? Мне некоторые надо будет индексировать.

Тема конечно интересная ....... для меня, раньше увлекался, даже телескоп собрал было дело с не хилым увеличением, кратеры моря на луне, терминатор отлично видно было даже сейчас подумываю прикупить гляделку на звезды )

Зачем, если все страницы открыты а это закрывает ....... хз как сказать в общем совсем не нужное ....... ленты страниц

Не понял. Например, у меня будет страница "выбор телескопа" и ещё штук 5 таких (не заметка!) мне надо что бы эти 5-7 страниц были открыты.

Все и это будет естественно открыто

Значит остались только советы по доработке =)

Ахаха

Для начала можно категории оптимизировать то есть текста туда напихать

Именно описание категорий?

Конечно по паре тысяч знаков с тегами х 1 х 2

с роботс конечно Вам нужно самому разбираться, что нужно вот этот вроде как просто закрывает все лишнее
User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /engine/
Disallow: /favorites/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /language/
Disallow: /tags/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*group=*
Disallow: /addnews.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /2016/
Disallow: /2017/
Disallow: /2018/
Disallow: /*.php*
Disallow: /*/page/
Disallow: /tags/*/page/

Host: site.ru
Sitemap: http://site/sitemap.xml

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /engine/
Disallow: /favorites/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /language/
Disallow: /tags/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*group=*
Disallow: /addnews.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /2016/
Disallow: /2017/
Disallow: /2018/
Disallow: /*.php*
Disallow: /*/page/
Disallow: /tags/*/page/

Sitemap: http://site/sitemap.xml

блина дле скинул, сори

Понятное дело надо смотреть что на сайте имеется, у меня вот нет тегов а у тс есть их тоже закрыть

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page/*
Disallow: /author
Disallow: /2018


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page/*
Disallow: /author
Disallow: /2018

Sitemap: http://site/sitemap.xml.gz
Sitemap: http://site/sitemap.xml
Host: pozdravhappy.ru

тоже что ли скинуть пару robots, так, что бы было :D

Лучше мой дополните, если надо =)

Вам же вроде говорили, открываете и закрывайте что Вам нужно

Смотрите, что в индексе и корректируете https://yandex.by/search/?clid=2186620&text=site%3Auniversetoday.ru&rdrnd=680130&lr=10274&redircnt=1523949543.1

https://www.google.by/search?ie=UTF-8&hl=ru&q=site%3Auniversetoday.ru

stalker1313, сейчас меня наверное закидают помидорами, но совет я все же дам. Загрузите стандартный robots для wp, потом следите в ВМ какие ненужные страницы индексируются и дополняйте его, так и опыт получите и будите уверены, что ничего лишнего. Отключите автоматическое генерирование карты сайта и залейте свою, сделанную руками. Вообще не советую в таких вопросах прибегать к плагинам, а делать все в ручную.

Это добавьте

Disallow: /tag
Disallow: /author

Как переадресацию сделать с http на https ?

Добавить в .htaccess
RewriteEngine On
RewriteCond %{SERVER_PORT} !^443$
RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]
Или ещё что-то?

https://support.google.com/webmasters/answer/6073543?hl=ru
https://yandex.ru/blog/platon/2778

Ну вот яндекс вебмастер ругается "Нет используемых роботом файлов Sitemap"

у вас действительно не работает карта сайта по адресу universetoday.ru/sitemap.xml проверяйте ее расположение

Подключил ssl сертификат. Теперь главная открывается нормально, а у записей дизайн слетел

stalker1313 , это особенность wp, зайдите в админ панель в общие настройки и исправьте адреса сайта на новые. Либо напишите в ТП, они сами могут это поправить

так https://1drv.ms/u/s!AudL6PLK7wBYhdI-L0QFL0KVjAQwAw ничего не изменилось

Почему на главной страничке путь к файлам css прописан через htpps а с других страниц через htpp как это исправить?

если простой метод не помог, значит править надо файлы конфига, лучше напишите в ТП хостеру чем самому туда лесть

Вчера ситимеп была
На какой хрен вы перешли на хттпс вы все изгадили

Так и сегодня есть https://universetoday.ru/sitemap.xml

он как истинный русски человек, вначале делает, потом исправляет :)

да кстати, вы бы вначале инструкцию по переезду читали, а потом переезжали, надо было перед переездом менять абсолютные ссылки на относительные

Я уже с этим wp сейчас матом начну ругаться =) Одну строку в .htaccess надо было добавить: SetEnvIf X-SSL-Emu on HTTPS=on

wp универсал, просто делать надо все с умом ;) По поводу того, что писал выше, рас уж поленились править ссылки в ручную, поставьте плагин SSL Insecure Content Fixer он автоматом будет править ссылки на страницах с http на https

Я не поленился, я не знал как правильно делать а гуглишь на одном сайте так пишут делать, на другом всё наоборот :)
Так а зачем плагин если уже через .htaccess работает?

все просто как ясный день, сайт работает по https, но на нем ссылки на картинки и прочие материалы с протоколом http, в некоторых случаях, а бывает и во всех, что протокол безопасности будет работать, но показывать, что соединение все-равно не безопасно. Если глазами обычного пользователя, то будет это так - значок замка будет зеленым, но открытым :) Расписывать все это здесь не охото, погуглите, почитайте, поймете ;)

Если ввожу в адресную строку:
domain.ru
http://domain.ru
www.domain.ru
то всё перенаправляется на https://domain.ru/

Но если ввожу:
domain.ru/news/1
http://domain.ru/news/1
www.domain.ru/news/1
то перенаправления на https://domain.ru/news/1 нет.
При переходе на публикацию из меню сайта перенаправление срабатывает.
Это надо исправлять или так и должно быть?

Почему гугл и яндекс добавил в поиск теги, если они закрыты в robots.txt