SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Зарегистрироваться Войти
Q&A SEO
  1. Сообщество
  2. Вопросы и ответы
  3. Стоит ли закрывать страницы соцсети в robots.txt?

Стоит ли закрывать страницы соцсети в robots.txt?

wearts wearts  
47
  27.01.2018 02:03       1 310    
Есть тематическая соцсеть, в которой на данный момент 4000 пользователей и больше 30000 публикаций. А статей на сайте всего около 400.
Сейчас проанализировал я.метрику и увидел, что из поиска заходят только на статьи и очень-очень редко на страницы профилей (и то когда ищут конкретного человека). На страницы же постов вообще не заходят, не смотря на, что зачастую они содержат прилично текста и изображений. Все теги, ключи и микроразметка, все есть.
Но тем не менее роботы гугл и яндекс ежедневно перебирают по 3500-4000 страниц.
Я так понимаю они перебирают все эти многочисленные профили и посты, но из поиска никого все равно не присылают, что впринципе и понятно.
Вопрос: стоит ли закрыть в роботс вообще все страницы профилей и постов? Нафига он их зря перебирает, захлебывается.. Да и трафика ежедневно по 60-70 мегабайт на это уходит. Может эти "бессмысленные" для поисковиков страницы наоборот мешают?
0

Ответы на пост (9) Написать ответ
Быстрая регистрация для ответа Войти
minsky minsky
405
27.01.2018 05:16
Да поисковикам насрать на robots.txt в любом случае просматривают. И индексируют, что им нужно, только закрывают для всеобщего просмотра
0
minsky minsky
405
27.01.2018 05:20
Хотя даже не закрывают, а просто предупреждают
0
minsky minsky
405
27.01.2018 05:27
"Нафига он их зря перебирает, захлебывается" - работа у него такая, он не захлебывается.
0
minsky minsky
405
27.01.2018 05:43
забыл написать, для этой штуки от ботов есть много защиты, поинтерисуйся, если свой не пытаешься продвинуть
0
vovan777 vovan777
238
27.01.2018 13:44
Закрывайте профили не думая. Робот не будет тратить время на их переобход. А значит посетит больше нужных страниц, не тратя выделенный ему лимит для вашего сайта на всякий хлам...
0
garik1331 garik1331
1434
27.01.2018 13:57
Смешно, у робота еще и свои предпочтения оказывается есть



0
wearts wearts
47
27.01.2018 16:17
Я тоже такое слышал на вебинарах от Яндекс. Но там говорилось про совершенно лишние страницы, такие как пагинация, результаты поиска, теги и прочее, которые по сути создают дублирующий контент и робот тратит на них свой лимит обхода (про такой лимит тоже говорили, он зависит от многих факторов, но вроде как главный это скорость загрузки сайта. Если сайт загружается медленно, робот сбавляет обороты и посещает сайт реже, снижая на него нагрузку).
Вот как раз по этой аналогии я и мыслю. Не такие же ли это лишние страницы (профили и посты), как страницы пагинации и поиска? Они все равно в поиске никак почти не фигурируют.
0
otog otog
10
27.01.2018 14:35
Читал где-то статью что поисковики стали плохо относится с сайтам которые прячут ссылки, особенно на авторитетные ресурсы. Открыл ссылки для индексирования на соцсети и всё нормально.
0
sungoldline sungoldline
1308
27.01.2018 22:43
не форум, а конкурс гадалок....."где-то слышал, где-то читал, может быть где-то....

Битву экстрасенсов не надо тут проводить, если можете что-то толковое посоветовать - пишите, а бабу Вангу не тревожьте пожалуйста, пусть она отдыхает спокойно...
0
Быстрая регистрация для ответа Войти

Похожие посты

Анализ сайта

Поможем улучшить ваш сайт.