Нужен взгляд профессионала

stalker1313 stalker1313   16.04.2018 22:54   432  
Неделю назад создал сайт на wp, до этого никаким боком wp не касался. Есть пара вопросов.
1. Правильные ли у меня robots.txt и где он находится? В корне сайта там куда распаковывал wp его нет.
2. Правильный ли sitemap.xml (создавался плагином Google XML Sitemaps).
3. Может быть что-то исправить надо или на что-то обратить внимание?
Спешка, спешка) Извиняюсь вот сайт http://universetoday.ru
0
Ответы на вопрос (35) Написать ответ
garik1331
1
garik1331   16.04.2018 23:04
1 В корне там где три папки главных
2 Ну если плагином то должно быть правильно
3 Конечно улучшать можно до бесконечности особенно когда видишь сайт ахаха
garik1331
stalker1313   16.04.2018 23:16  
1. Нет его в корне
2. Как-то он выглядит странно
3. Добавил сайт
VikMaster
0
VikMaster   16.04.2018 23:05
1. Файл robots должен находиться в папке public_html и открываться по адресу ваш-сайт/robots.txt.
2. Карту сайта можно создавать как вам угодно, онлайн сервисы, в ручную и т.д., особой роли это не играет и как правило ее загружают в корень сайта, название в большинстве случаев как и у вас sitemap.xml
3. Не видя сайта о правках и каких то советах говорить невозможно
VikMaster
stalker1313   16.04.2018 23:17  
1. Нет в этой папке, по адресу открывается
2. Хотелось бы понять или верна та, что создалась плагином
3. Добавил
garik1331
0
garik1331   16.04.2018 23:24
1 Его надо создать
2 Нормально выглядит
garik1331
stalker1313   16.04.2018 23:26  
1. А откуда он тогда берётся, если по ссылке переходить? Такой создать:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: http://universetoday.ru/sitemap.xml
garik1331
Chip111   17.04.2018 09:11  
1. По роботс.
""User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php"
Насколько я понял это виртуальный роботс, автоматически создаваемый вордпресс. Нужно самому создать роботс и залить в корень. Я себе хочу поставить такой как этой статье http://seogio.ru/robots-txt-dlya-wordpress/ . Вчера возникла та же проблема с роботс.

2. Ставь HTTPS пока сайт новый.
garik1331
0
garik1331   16.04.2018 23:28
Значит есть лучше посмотрите
garik1331
stalker1313   16.04.2018 23:30  
https://1drv.ms/u/s!AudL6PLK7wBYhc9kEOwzo_y6rgWTHQ нет его там
sungoldline
0
sungoldline   16.04.2018 23:31
Ничего создавать не надо. Плагином создается виртуальный сайтемап. Откройте плагин в настройках, там будет ссылка на карту.
garik1331
0
garik1331   16.04.2018 23:32
Тут вообще то про роботс речь
garik1331
sungoldline   16.04.2018 23:37  
сорри, только что беседовал про роботс с челом....не переключился ))

а роботс создавать лучше самому
sungoldline
0
sungoldline   16.04.2018 23:34
Народ не морочьте ТС мозги. От ваших советов только вред. Как говорил комбат - учите матчасть. Не вылазьте с идиотскими предположениями.

Пиши в личку, помогу разобраться и объясню
garik1331
1
garik1331   16.04.2018 23:36
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */page/
Host: www или без домен

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments


Sitemap: http://www ли без домен
garik1331
stalker1313   16.04.2018 23:40  
Тут же всё закрыто
garik1331
0
garik1331   16.04.2018 23:42
Все не нужное
stalker1313
0
stalker1313   16.04.2018 23:45
То есть в итоге так, или в host ещё что добавить?

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */page/
Host: http://universetoday.ru/

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments


Sitemap: http://universetoday.ru/sitemap.xml
garik1331
0
garik1331   16.04.2018 23:47
Мне как то этого роботса хватает сайтам по 8 лет
garik1331
stalker1313   16.04.2018 23:49  
Благодарю, а по двум другим вопросам что скажите?
garik1331
1
garik1331   16.04.2018 23:50
Я уже сказал что ситимеп правильный как у меня у всех
stalker1313
0
stalker1313   16.04.2018 23:50
Кстати это Disallow: */page/ страницы закрыты? Мне некоторые надо будет индексировать.
garik1331
1
garik1331   16.04.2018 23:54
Тема конечно интересная ....... для меня, раньше увлекался, даже телескоп собрал было дело с не хилым увеличением, кратеры моря на луне, терминатор отлично видно было даже сейчас подумываю прикупить гляделку на звезды )
garik1331
0
garik1331   16.04.2018 23:55
Зачем, если все страницы открыты а это закрывает ....... хз как сказать в общем совсем не нужное ....... ленты страниц
garik1331
stalker1313   16.04.2018 23:58  
Не понял. Например, у меня будет страница "выбор телескопа" и ещё штук 5 таких (не заметка!) мне надо что бы эти 5-7 страниц были открыты.
garik1331
0
garik1331   17.04.2018 00:01
Все и это будет естественно открыто
garik1331
stalker1313   17.04.2018 00:06  
Значит остались только советы по доработке =)
garik1331
0
garik1331   17.04.2018 00:08
Ахаха

Для начала можно категории оптимизировать то есть текста туда напихать
garik1331
stalker1313   17.04.2018 00:18  
Именно описание категорий?
garik1331
0
garik1331   17.04.2018 00:23
Конечно по паре тысяч знаков с тегами х 1 х 2
minsky
0
minsky   17.04.2018 08:27
с роботс конечно Вам нужно самому разбираться, что нужно вот этот вроде как просто закрывает все лишнее
User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /engine/
Disallow: /favorites/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /language/
Disallow: /tags/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*group=*
Disallow: /addnews.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /2016/
Disallow: /2017/
Disallow: /2018/
Disallow: /*.php*
Disallow: /*/page/
Disallow: /tags/*/page/

Host: site.ru
Sitemap: http://site/sitemap.xml

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /engine/
Disallow: /favorites/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /language/
Disallow: /tags/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*group=*
Disallow: /addnews.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /2016/
Disallow: /2017/
Disallow: /2018/
Disallow: /*.php*
Disallow: /*/page/
Disallow: /tags/*/page/

Sitemap: http://site/sitemap.xml
minsky
minsky   17.04.2018 08:35  
блина дле скинул, сори
garik1331
0
garik1331   17.04.2018 08:31
Понятное дело надо смотреть что на сайте имеется, у меня вот нет тегов а у тс есть их тоже закрыть
minsky
0
minsky   17.04.2018 08:36
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page/*
Disallow: /author
Disallow: /2018


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page/*
Disallow: /author
Disallow: /2018

Sitemap: http://site/sitemap.xml.gz
Sitemap: http://site/sitemap.xml
Host: pozdravhappy.ru
VikMaster
0
VikMaster   17.04.2018 09:08
тоже что ли скинуть пару robots, так, что бы было :D
VikMaster
stalker1313   17.04.2018 09:47  
Лучше мой дополните, если надо =)
VikMaster
minsky   17.04.2018 10:18  
Вам же вроде говорили, открываете и закрывайте что Вам нужно
VikMaster
minsky   17.04.2018 10:20  
Смотрите, что в индексе и корректируете https://yandex.by/search/?clid=2186620&text=site%3Auniversetoday.ru&rdrnd=680130&lr=10274&redircnt=1523949543.1
VikMaster
minsky   17.04.2018 10:22  
https://www.google.by/search?ie=UTF-8&hl=ru&q=site%3Auniversetoday.ru
VikMaster
0
VikMaster   17.04.2018 09:55
stalker1313, сейчас меня наверное закидают помидорами, но совет я все же дам. Загрузите стандартный robots для wp, потом следите в ВМ какие ненужные страницы индексируются и дополняйте его, так и опыт получите и будите уверены, что ничего лишнего. Отключите автоматическое генерирование карты сайта и залейте свою, сделанную руками. Вообще не советую в таких вопросах прибегать к плагинам, а делать все в ручную.
garik1331
0
garik1331   17.04.2018 10:03
Это добавьте

Disallow: /tag
Disallow: /author
stalker1313
0
stalker1313   17.04.2018 10:21
Как переадресацию сделать с http на https ?
stalker1313
stalker1313   17.04.2018 10:26  
Добавить в .htaccess
RewriteEngine On
RewriteCond %{SERVER_PORT} !^443$
RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]
Или ещё что-то?
stalker1313
minsky   17.04.2018 10:26  


https://support.google.com/webmasters/answer/6073543?hl=ru
https://yandex.ru/blog/platon/2778
stalker1313
0
stalker1313   17.04.2018 10:46
Ну вот яндекс вебмастер ругается "Нет используемых роботом файлов Sitemap"
stalker1313
VikMaster   17.04.2018 10:55  
у вас действительно не работает карта сайта по адресу universetoday.ru/sitemap.xml проверяйте ее расположение
stalker1313
0
stalker1313   17.04.2018 12:54
Подключил ssl сертификат. Теперь главная открывается нормально, а у записей дизайн слетел
VikMaster
0
VikMaster   17.04.2018 13:05
stalker1313 , это особенность wp, зайдите в админ панель в общие настройки и исправьте адреса сайта на новые. Либо напишите в ТП, они сами могут это поправить
VikMaster
stalker1313   17.04.2018 13:11  
так https://1drv.ms/u/s!AudL6PLK7wBYhdI-L0QFL0KVjAQwAw ничего не изменилось
stalker1313
0
stalker1313   17.04.2018 13:17
Почему на главной страничке путь к файлам css прописан через htpps а с других страниц через htpp как это исправить?
stalker1313
VikMaster   17.04.2018 13:25  
если простой метод не помог, значит править надо файлы конфига, лучше напишите в ТП хостеру чем самому туда лесть
garik1331
0
garik1331   17.04.2018 13:22
Вчера ситимеп была
На какой хрен вы перешли на хттпс вы все изгадили
garik1331
stalker1313   17.04.2018 13:24  
Так и сегодня есть https://universetoday.ru/sitemap.xml
garik1331
VikMaster   17.04.2018 13:26  
он как истинный русски человек, вначале делает, потом исправляет :)
VikMaster
1
VikMaster   17.04.2018 13:28
да кстати, вы бы вначале инструкцию по переезду читали, а потом переезжали, надо было перед переездом менять абсолютные ссылки на относительные
stalker1313
0
stalker1313   17.04.2018 13:46
Я уже с этим wp сейчас матом начну ругаться =) Одну строку в .htaccess надо было добавить: SetEnvIf X-SSL-Emu on HTTPS=on
stalker1313
VikMaster   17.04.2018 17:04  
wp универсал, просто делать надо все с умом ;) По поводу того, что писал выше, рас уж поленились править ссылки в ручную, поставьте плагин SSL Insecure Content Fixer он автоматом будет править ссылки на страницах с http на https
stalker1313
0
stalker1313   17.04.2018 17:16
Я не поленился, я не знал как правильно делать а гуглишь на одном сайте так пишут делать, на другом всё наоборот :)
Так а зачем плагин если уже через .htaccess работает?
stalker1313
VikMaster   17.04.2018 17:39  
все просто как ясный день, сайт работает по https, но на нем ссылки на картинки и прочие материалы с протоколом http, в некоторых случаях, а бывает и во всех, что протокол безопасности будет работать, но показывать, что соединение все-равно не безопасно. Если глазами обычного пользователя, то будет это так - значок замка будет зеленым, но открытым :) Расписывать все это здесь не охото, погуглите, почитайте, поймете ;)
stalker1313
0
stalker1313   18.04.2018 18:53
Если ввожу в адресную строку:
domain.ru
http://domain.ru
www.domain.ru
то всё перенаправляется на https://domain.ru/

Но если ввожу:
domain.ru/news/1
http://domain.ru/news/1
www.domain.ru/news/1
то перенаправления на https://domain.ru/news/1 нет.
При переходе на публикацию из меню сайта перенаправление срабатывает.
Это надо исправлять или так и должно быть?
stalker1313
0
stalker1313   5 дней назад в 11:11
Почему гугл и яндекс добавил в поиск теги, если они закрыты в robots.txt

Войдите, чтобы написать ответ
Вход Регистрация



B2B Click возвращает до 8% расходов на Yandex.Direct и Google AdWords. Экономьте бюджет и получайте кешбэк с контекста!