Низкая видимость в яндексе, что не так с сайтом?
Домену (sdelkadrom.ru) уже несколько лет. Сайт работает больше года. Все публикуемые материалы (кроме объявлений, которые подают пользователи) уникальные. Есть ссылочная масса с других сайтов, но ТИЦ мизерный, видимость в Яндексе и Гугл очень маленькая. Куда "копать"?
И что, в вашем представлении, "видимость ресурса"?
Вы свой robots.txt видели?.. Посмотрите, рекомендую. Это - "нечто".
Host: sdelkadrom.ru
User-agent: *
Allow: /*search?page=*
Allow: /*specialoffers?page=*
Disallow: /*index.php
Disallow: /*printable=*
Disallow: /*?page=*
Disallow: /*search?page=*&sort=*
Disallow: /*search?page=*&sort=*&ls=*
Disallow: /*search?*&ls=*
Disallow: /*search?*&sort=*
Disallow: /*specialoffers?page=*&sort=*
Disallow: /*specialoffers?page=*&sort=*&ls=*
Disallow: /*specialoffers?*&ls=*
Disallow: /*specialoffers?*&sort=*
Disallow: /*?sort=*
Disallow: /*?ls=*
Disallow: /*comparisonList
Disallow: /*booking/add*
Disallow: /*complain/add*
Disallow: /*apartments/sendEmail*
Ну - и всё.
Почитайте-таки рекомендации Яндекс или Google про составление этого файла.
Цитировать всё целиком... достаточно глупо, пустая трата воемени.
"Считать" - "что не так" - смешно. ВСЁ - не так. По-сути - файл работает... чёрти-как.
Нормально стоит его сосавить, потом уж - вопрошать - "что не так".
А ваш роботс - вам нравится? Вы хоть минимально понимаете - что запретили/разрешили?
Ваш robots.txt, по нынешнему вашему видению представляет собой:
User-agent: *
Disallow: /*printable=
Disallow: /*page=
Disallow: /*search
Disallow: /*specialoffers
Disallow: /*add
Disallow: /*?
Disallow: /*comparison
Disallow: /*send*
Allow: /
Host: sdelkadrom.ru
Собстно... Этого, естественно, недостаточно. "Не так" - в настройках/составлении файла.
Далее можно искать - далее. Сейчас это не актуально. СМотреть страницы в поиске и "убивать" дубли. Для начала.
Я даже не удивлюсь, если из-за этого поисковики и не двигают Вас в топ
У вас же сейчас понимание проблемы как в анекдоте.
- Я в этом ничерта не понимаю. Вы специалист. Скажите как надо?
- Надо так и так!
- Я не согласен!
И его робот тхт:
Robots.txt
# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://tool.motoricerca.info/robots-checker.phtml
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
По Вашему мнению он тоже некорректный? Или что тут надо поправить?
Такие темы (или авторов) есть смысл заводить в иной заголовок: "кто похвалит меня лучше всех?.."
По сабж: естественно, неадекватный (сайт смотреть не буду, лень).
a) зачем вообще в файле закомментированные строки?
б) Не стоит закрывать от индексации:
Disallow: /components/
Disallow: /modules/
Disallow: /plugins/
Причина: папки содержат картинки, css, js - доступ которым нужны поисковым системам (ПС), про это вам уже рассказал Гугл.Вебмастер (если вы его читали).
г) Disallow: /installation/
У вас всё еще есть на сайте эта папка? Ну а зачем тогда - директива?
в) В файле отсутствует host
Естественно, что для Джумла стоит добавить толпу "всякой занятности", например:
Disallow: /user
Disallow: /ssylki
Disallow: /search
Disallow: /poisk
Disallow: /*feed
Disallow: /*poisk-
Disallow: /*index
Disallow: /*pechat
Disallow: /*editor
Disallow: /*post=
Disallow: /*start=
Disallow: /*view
Disallow: /*weblink
Disallow: /*?
Disallow: /*.pdf$
Disallow: /*.doc$
Disallow: /*.rar$
Disallow: /*.rtf$
Disallow: /*.pptx$
Disallow: /*.docx$
Disallow: /*.xlsx$
Disallow: /*.swf$
И пр. и др. Если сайт посмотреть (со статистикой страниц в индексе), то список можно будет продолжить. У каждого конкретного сайта - свой персональный "мусор".
Идеальных cms не существует. Как и идеальных ПС.
Правильный ниже, но все равно неправильный. Почему, объясню еще ниже:
User-agent: *
Disallow: /*index.php
Disallow: /*printable=*
Disallow: /*?page=*
Disallow: /*search?page=*&sort=*
Disallow: /*search?page=*&sort=*&ls=*
Disallow: /*search?*&ls=*
Disallow: /*search?*&sort=*
Disallow: /*specialoffers?page=*&sort=*
Disallow: /*specialoffers?page=*&sort=*&ls=*
Disallow: /*specialoffers?*&ls=*
Disallow: /*specialoffers?*&sort=*
Disallow: /*?sort=*
Disallow: /*?ls=*
Disallow: /*comparisonList
Disallow: /*booking/add*
Disallow: /*complain/add*
Disallow: /*apartments/sendEmail*
Allow: /*search?page=*
Allow: /*specialoffers?page=*
User-agent: Yandex
Disallow: /*index.php
Disallow: /*printable=*
Disallow: /*?page=*
Disallow: /*search?page=*&sort=*
Disallow: /*search?page=*&sort=*&ls=*
Disallow: /*search?*&ls=*
Disallow: /*search?*&sort=*
Disallow: /*specialoffers?page=*&sort=*
Disallow: /*specialoffers?page=*&sort=*&ls=*
Disallow: /*specialoffers?*&ls=*
Disallow: /*specialoffers?*&sort=*
Disallow: /*?sort=*
Disallow: /*?ls=*
Disallow: /*comparisonList
Disallow: /*booking/add*
Disallow: /*complain/add*
Disallow: /*apartments/sendEmail*
Allow: /*search?page=*
Allow: /*specialoffers?page=*
Host: sdelkadrom.ru
Sitemap: http://sdelkadrom.ru/sitemap.xml
Вот эти строки (ниже) противоречат друг другу. Определитесь, к умным или к красивым. Разрешать индексацию или запрещать? Из этих противоречащих правил непонятно.
Allow: /*search?page=* (эта строка разрешает все, что запрещено в следующих двух строках)
Disallow: /*search?page=*&sort=* (эта строка запрещает все, что также "попадает" в следующую строку, то есть следующая строка не нужна)
Disallow: /*search?page=*&sort=*&ls=*
Allow: /*specialoffers?page=* (эта строка разрешает все, что запрещено в следующих двух строках)
Disallow: /*specialoffers?page=*&sort=* (эта строка запрещает все, что также "попадает" в следующую строку, то есть следующая строка не нужна)
Disallow: /*specialoffers?page=*&sort=*&ls=*
Disallow: /*?page=*
закроет любые страницы с "?page=", то есть вот это уже лишнее:
Disallow: /*search?page=*&sort=*
Disallow: /*search?page=*&sort=*&ls=*
Это ведь глупость. И опускает сайт оооочень существенно.
На Яндекс можно забить. Главное - Google. А в нем отдельные настройки для обработки расширенных параметров URL. Независимые от robots. Естественно, что параметры, меняющие содержание страниц, должны быть открыты для индексации.
Дубли контента - не есть "глупость"?
Не индексировать контент, о котором Гугл спрашивает "Как его индексировать?" - глупое разбазаривание страниц и внутренних ссылок))))