О карте сайта писали много, и мы тоже. В блоге компании Serpstat недавно появился хороший материал о том, как ее создать на разных движках. Приводим текст полностью.
Карта сайта в формате XML — путеводитель по веб-ресурсу для поисковых роботов и иногда для пользователей. Для пользователей рекомендуется делать карту сайта в формате HTML, но я не знаю ни одного человека, который хоть раз воспользовался бы ею за последние 5 лет.
Google и Яндекс рекомендуют для хорошей индексации иметь на сайте оба варианта сайтмапа. Но если вы не ортодоксальный перфекционист, созданием HTML-карты можно пожертвовать в угоду хорошо продуманной навигации по сайту. А вот жертвовать созданием и настройкой Sitemap XML не стоит, даже если ваш сайт пока что состоит из 10-20 страниц.
Почему карта сайта в формате XML так важна?
При отсутствии карты поисковикам приходится самостоятельно:
- искать недавно появившиеся страницы на вашем сайте;
- находить изменения на старых страницах вашего web-ресурса;
- определять, какие страницы проиндексировать приоритетно, а какие — нет;
- назначать периодичность индексации страниц.
Все это для поисковых краулеров достаточно «напряжно» (думаю, «напряга» им хватает с количеством сайтов в интернете, которое сегодня уже исчисляется миллиардами). Поэтому без четких инструкций они делают это «спустя рукава».
Что происходит, когда на сайте нет сайтмапа?
А происходит примерно следующее:
«Сайтмапа нет, но вы держитесь,» — видят поисковые боты и благополучно уходят, проиндексировав наобум пару-тройку страниц сайта и забив на все остальное.
Чтобы этого не происходило, есть несколько удобных способов создать карту сайта.
Сервисы для создания Sitemap XML
Существует много онлайн-сервисов и программ для создания файла Sitemap. Однако у таких сервисов есть недостатки, которые могут свести все старания к нулю:
- У большинства таких сервисов есть ограничение по добавлению URL-ов — например, MySitemapGenerator позволяет бесплатно сгенерировать файл всего на 500 страниц, за последующие страницы придется доплачивать в долларах, и так при каждом использовании.
- Cозданная карта не будет динамической — то есть каждый раз при добавлении новых материалов/товаров/статей на сайт придется ее переделывать.
Собственно, второй пункт смущает больше первого — какой смысл делать карту для ежедневно обновляемого блога или активно растущего интернет-магазина, если придется регулярно ее переделывать и перезакачивать на сервер?
Мы уже давно не задаемся таким вопросом, потому что работаем преимущественно с тремя CMS: Wordpress (для сайтов услуг, информационных порталов, сайтов компаний), OpenCart и 1С-Битрикс (для интернет-магазинов и масштабных корпоративных сайтов). А у этих систем, к счастью программистов (которым не нужно ничего делать) и восторгу оптимизаторов, есть встроенные средства для того, чтобы сделать карту сайта своими руками.
К внутренней оптимизации сайта мы относимся почти религиозно, а потому и сайтмап стараемся делать с ювелирной точностью, чтобы поисковикам не к чему было придраться.
Общие правила составления XML-карты сайта
1. Должна быть доступна по адресу site.com/sitemap.xml, где site.com - ваш домен. Если у вас карта сайта генерируется с другим URL-ом, ничего военного здесь нет — просто поставьте 301 редирект с site.com/sitemap.xml на тот адрес Sitemap, по которому она открывается корректно.
2. Должна выглядеть перечнем ссылок сайта примерно вот так:
3. Не должна конфликтовать с файлом robots.txt. И под словом «конфликтовать» я подразумеваю «не запутывайте поискового робота»: если вы какие-то страницы закрываете от индексации в robots.txt, то и в карте сайта их быть не должно.
4. В файле Sitemap XML должно содержаться не более 50 тысяч ссылок. Если ссылок больше, есть три варианта решения вопроса:
разбить карту на несколько частей (например, по типам страниц или таксономиям);
сжать карту сайта архиватором, чтобы у нее появилось расширение .gz;
проанализировать, какие типы страниц вам не нужны в сайтмапе и удалить их (на случай, если в вашу карту попадают служебные страницы или URL-ы, автоматически генерируемые фильтрами и сортировкой).
5. По объему карта должна «весить» не более 10 МБайт. В противном случае прибегаем к тем методам, что и в предыдущем пункте.
6. В сайтмапе не должно быть 404 ошибок и тестовых страниц. Если удаляли что-то с сайта или проводили эксперименты — следите за тем, чтобы этот мусор не попадал в файл.
Как сделать карту сайта средствами CMS?
Для каждой CMS можно подобрать свои сервисы.
Инструкция для Wordpress
К Вордпрессу я отношусь с особенной любовью, потому что в этой CMS можно сделать 90% сеошной работы, не прибегая к услугам программиста. В том числе и настроить карту сайта.
1. Устанавливаем плагин Yoast SEO
Если у вас на вордпрессовском сайте до сих пор нет этого волшебного плагина, срочно его установите и активируйте — это даже не находка для шпиона, это целый клондайк полезных фишек для оптимизатора (особенно для ленивого, как я).
2. Переходим в раздел «XML-карта сайта» и настраиваем генерацию сайтмапа
В админке в появившихся после активации плагина SEO-настройках выбираем XML-карту сайта:
Здесь вносим самое главное:
1) Выставляем максимальное количество URL-ов, добавленных в одну карту (по умолчанию их 1000, но можно поставить больше, до 50 000):
2) Иключаем из карты ненужные типы страниц и таксономии (к примеру, если вы не хотите, чтоб индексировались страницы тегов или медиафайлов):
3. Нажимаем кнопку «Включено»:
Вуаля! Карта сайта на WordPress готова.
Что удобно:
- плагин по умолчанию распределяет URL-ы в три разные папки по типам страниц — Yoast смотрит в будущее уверенным взглядом и верит, что ваш сайт разрастается до неприличных размеров, и одного сайтмапа вам будет мало:
- карта сайта генерируется в человекопонятном виде — выглядит вот так:
То есть если оптимизатору или контент-менеджеру нужно по каким-то причинам выгрузить все публикации сайта, он легко может это сделать с помощью Sitemap XML, сгенерированную в Yoast. При этом поисковому боту такой формат тоже вполне понятен.
Подводный камень:
В плагине нет возможности настроить периодичность и приоритет индексации. Если вам нужны эти детали (например, когда количество страниц сайта исчисляется в десятках тысяч и они очень объемные), стоит обратиться к программисту за помощью. Но по опыту могу сказать, что роботы Google- и Яндекс-боты с аппетитом «кушают» и такой сайтмап тоже. Главное здесь — его наличие.
Инструкция для OpenCart
Я искренне считаю ОпенКарт лучшей из бесплатных CMS для разработки интернет-магазинов, в частности из-за того, что ее можно сравнительно легко оптимизировать под требования поисковых систем.
Sitemap XML в OpenCart тоже сделать довольно просто. В этом нам помогает модуль Google Sitemap.
1. Проверяем наличие модуля Google Sitemap в админке сайта
Для этого заходим в Модули/Расширения и выбираем тип расширения «Каналы продвижения» →
Если добрый разработчик не удалил установленный по умолчанию модуль, ты вы сразу его увидите, если же разработчик попался не такой добрый — нужно скачать модуль с официального сайта OpenCart и установить его по подсказкам в админке (в пункте «Установка расширений»).
2. Активируем и настраиваем Google Sitemap
Напротив названия модуля жмем «Активировать» (если он неактивен), и далее — «Редактировать»:
В открывшемся окне выбираем «Включено» и сохраняем изменения:
Что удобно: почти ничего не нужно делать, сайтмап настраивается в 3-4 клика.
Подводные камни:
1. URL, который вы видите на скрине выше — это и есть адрес, по которому карта сайта будет доступна. Он мало подходит под описание «ЧПУ», чем справедливо смущает многих сеошников. Тут есть два варианта решения вопроса:
- попросить программиста настроить отображение карты по более красивому URL-у site.com/sitemap.xml, попутно вызвав его фирменное закатывание глаз);
- закрыть на это свои глаза и настроить редирект с site.com/sitemap.xml на этот несимпатичный, но в целом вполне приемлемый адрес (в отличие от карты, генерируемой плагином Yoast SEO в WordPress, здесь не добавляется автоматический редирект).
2. Проконтролируйте, чтоб в карту сайта не попадали дубликаты страницы (помните, я писала про «напряг» для краулеров?). Самое лучшее — проследить за тем, чтобы CMS не генерировала дубли страниц, еще на этапе создания сайта. Этот вопрос, в свою очередь, можно решить редиректами либо атрибутом canonical, но это уже совсем другая история.
Инструкция для 1С-Битрикс
Сразу приведу сравнение для понимания: если OpenCart — это качественный минивен эконом-класса, то 1С-Битрикс — это небольшой авианосец. Или большой авианосец. В такой машине для внедрения даже базовых моментов технической оптимизации очень сложно обойтись без программиста.
При этом карту сайта на 1С-Битрикс создать не так уж сложно. Труднее настроить ее корректную работу.
1. В админке заходим в раздел Маркетинг и нажимаем «Настройка sitemap.xml».
2. настраиваем карту сайта для 1С-Битрикс.
Если карты нет — нажимаем зеленую кнопку «Добавить», если есть — правой кнопкой мыши напротив названия карты кликаем на три полоски и выбираем «Редактировать»:
После перехода на страницу настроек прорабатываем каждую вкладку отдельно →
1) В «Настройках» указываем защищенный протокол, если он есть, вписываем корректный адрес карты и ставим галочку для добавления ссылки на карту сайта в файл robots.txt.
2) Во вкладках "Файлы", "Инфоблоки" и "Форумы" ставим галочки напротив тех типов страниц, которые должны быть в сайтмапе, и убираем напротив тех, которые не должны там присутствовать;
3. Жмем кнопку "Сохранить и запустить".
Что удобно: детализированные настройки позволяют представить сайтмап древовидным и четко указать краулерам, в каких направлениях двигаться. И это очень удобно, особенно когда количество страниц сайта действительно импонирует сравнению с авианосцем, которое я приводила выше.
Подводные камни
Даже когда все настройки внесены корректно:
- дочерние карты сайта могут дублироваться между собой, заставляя ботов индексировать одно и то же несколько раз подряд;
- в сайтмап часто попадают дефолтные страницы сайта, даже если сам сайт был создан за царя Гороха;
- некоторые страницы просто не добавляются автоматически в карту по неизвестным причинам (даже прогеры в таких случаях начинают говорить об ауре и флюидах).
В любом случае, здесь вам без программиста не обойтись.
После успешного создания карты сайта
Когда все круги этапы настройки и генерации Sitemap XML пройдены, важно не забыть сделать две вещи.
1. Добавьте ссылку на файл сайтмапа в файл robots.txt. Выглядит это так:
Sitemap: http://site.com/sitemap.xml
Если ваш URL сайтмапа отличается — вставляйте сюда тот, по которому бот сразу перейдет на карту сайта. Не заставляйте его проходить через лишние редиректы.
2. Добавьте карту сайта в панели Google Search Console и Яндекс Вебмастер:
На этапе добавления предлагается протестировать карту сайта — я рекомендую это сделать. Это самый быстрый способ понять, правильно ли составлен файл. Еще один способ это сделать — проверить ее валидатором, например, XML Sitemaps.
Вместо заключения
Не думайте, что если сделали карту сайта один раз, она будет служить вам веки вечные. Регулярно проверяйте доступность URL-а в адресной строке и заглядывайте в панели вебмастеров.
Быстрой вам индексации и высоких позиций!
Источник — блог компании Serpstat
25.08.2017 13:54 
