Стоит ли закрывать страницы соцсети в robots.txt?

wearts wearts   27.01.2018 02:03   509  
Есть тематическая соцсеть, в которой на данный момент 4000 пользователей и больше 30000 публикаций. А статей на сайте всего около 400.
Сейчас проанализировал я.метрику и увидел, что из поиска заходят только на статьи и очень-очень редко на страницы профилей (и то когда ищут конкретного человека). На страницы же постов вообще не заходят, не смотря на, что зачастую они содержат прилично текста и изображений. Все теги, ключи и микроразметка, все есть.
Но тем не менее роботы гугл и яндекс ежедневно перебирают по 3500-4000 страниц.
Я так понимаю они перебирают все эти многочисленные профили и посты, но из поиска никого все равно не присылают, что впринципе и понятно.
Вопрос: стоит ли закрыть в роботс вообще все страницы профилей и постов? Нафига он их зря перебирает, захлебывается.. Да и трафика ежедневно по 60-70 мегабайт на это уходит. Может эти "бессмысленные" для поисковиков страницы наоборот мешают?

Ответы на вопрос (9) Написать ответ
minsky minsky   27.01.2018 05:16
Да поисковикам насрать на robots.txt в любом случае просматривают. И индексируют, что им нужно, только закрывают для всеобщего просмотра
0
minsky minsky   27.01.2018 05:20
Хотя даже не закрывают, а просто предупреждают
0
minsky minsky   27.01.2018 05:27
"Нафига он их зря перебирает, захлебывается" - работа у него такая, он не захлебывается.
0
minsky minsky   27.01.2018 05:43
забыл написать, для этой штуки от ботов есть много защиты, поинтерисуйся, если свой не пытаешься продвинуть
0
vovan777 vovan777   27.01.2018 13:44
Закрывайте профили не думая. Робот не будет тратить время на их переобход. А значит посетит больше нужных страниц, не тратя выделенный ему лимит для вашего сайта на всякий хлам...
0
garik1331 garik1331   27.01.2018 13:57
Смешно, у робота еще и свои предпочтения оказывается есть



0
wearts wearts   27.01.2018 16:17
Я тоже такое слышал на вебинарах от Яндекс. Но там говорилось про совершенно лишние страницы, такие как пагинация, результаты поиска, теги и прочее, которые по сути создают дублирующий контент и робот тратит на них свой лимит обхода (про такой лимит тоже говорили, он зависит от многих факторов, но вроде как главный это скорость загрузки сайта. Если сайт загружается медленно, робот сбавляет обороты и посещает сайт реже, снижая на него нагрузку).
Вот как раз по этой аналогии я и мыслю. Не такие же ли это лишние страницы (профили и посты), как страницы пагинации и поиска? Они все равно в поиске никак почти не фигурируют.
0
otog otog   27.01.2018 14:35
Читал где-то статью что поисковики стали плохо относится с сайтам которые прячут ссылки, особенно на авторитетные ресурсы. Открыл ссылки для индексирования на соцсети и всё нормально.
0
sungoldline sungoldline   27.01.2018 22:43
не форум, а конкурс гадалок....."где-то слышал, где-то читал, может быть где-то....

Битву экстрасенсов не надо тут проводить, если можете что-то толковое посоветовать - пишите, а бабу Вангу не тревожьте пожалуйста, пусть она отдыхает спокойно...
0

Войдите, чтобы написать ответ
Вход Регистрация

Самая большая база ключей ваших конкурентов. Создавай эффективные сайты, используя лучшую базу в рунете!