Технический SEO: как привести сайт в порядок для поисковика

Карта сайта sitemap.xml: как создать и настроить

Содержание
  1. Что такое карта сайта (sitemap.xml) и зачем нужна
  2. Когда sitemap обязателен, а когда не критичен
  3. Как устроен файл: основные теги
  4. Требования к файлу sitemap.xml
  5. Как создать карту сайта
  6. Как отдать sitemap поисковикам
  7. Как найти ошибки в sitemap
  8. Что дальше

Карта сайта (sitemap.xml) - это файл в формате XML со списком важных страниц сайта, который вы отдаёте поисковикам, чтобы они быстрее и полнее находили и обходили страницы. По сути это оглавление сайта для роботов Яндекса и Google. Карта особенно нужна крупным, глубоким и новым сайтам со слабой перелинковкой; маленькому сайту с понятной структурой она не критична. Один файл - до 50 000 URL и 50 МБ; в нём должны быть только страницы, отдающие 200 и не закрытые в robots/noindex. Отдают карту через robots.txt и панели вебмастера.

Что такое карта сайта (sitemap.xml) и зачем нужна

Карта сайта (sitemap.xml) - это файл в формате XML со списком важных страниц сайта, который вы отдаёте поисковикам, чтобы они быстрее и полнее находили и обходили страницы. По сути это оглавление сайта для роботов Яндекса и Google.

Карта помогает находить страницы, до которых слабо доходит внутренняя перелинковка: глубоко вложенные, новые, слабо связанные с остальными. Робот и сам ходит по ссылкам, но sitemap.xml прямо говорит ему «вот все мои страницы, вот когда они менялись» - и обнаружение идёт быстрее и полнее. На крупных сайтах карта становится важным каналом обхода.

Когда sitemap обязателен, а когда не критичен

  • Нужен: крупный сайт на сотни-тысячи страниц; сложная или глубокая структура; много новых страниц; слабая перелинковка; новый сайт, на который ещё нет внешних ссылок.
  • Не критичен: маленький сайт на десяток страниц с понятной перелинковкой - робот и так всё обойдёт. Но сделать карту стоит: хуже не будет, а порядок лучше.

Важный нюанс: карта не заставляет индексировать - она помогает найти. Наличие адреса в sitemap.xml не гарантирует, что страница попадёт в индекс; это решает поисковик.

Как работает карта сайта: файл sitemap.xml содержит список адресов страниц, робот читает его и быстрее находит и обходит страницы. Ниже показано, как отдать карту поисковикам - ссылкой в robots.txt, через Яндекс Вебмастер и Google Search Console
sitemap.xml - оглавление сайта для робота: список URL, который ускоряет обход. Отдают его через robots.txt и панели вебмастера

Как устроен файл: основные теги

Тег Назначение
<urlset> контейнер всего документа
<url> одна запись - одна страница
<loc> абсолютный адрес страницы (обязательный тег)
<lastmod> дата последнего изменения страницы
<changefreq> как часто страница меняется (необязательный)
<priority> относительная важность от 0.0 до 1.0 (необязательный)

Честно о двух последних тегах: по официальным заявлениям Google практически не учитывает changefreq и priority, Яндекс ориентируется на них минимально. Реально важны корректный <loc> и честный <lastmod> - по нему поисковик понимает, что страница обновилась и её стоит переобойти. На priority и changefreq ставку делать не стоит.

Виды карт: обычный sitemap.xml; sitemap-index - файл-оглавление, который ссылается на несколько карт (для больших сайтов); отдельные карты для изображений, видео или новостей.

Требования к файлу sitemap.xml

  1. Формат - XML, кодировка - UTF-8.
  2. В <loc> - абсолютные адреса (с протоколом и доменом), а не относительные.
  3. Один файл - не более 50 000 URL и не более 50 МБ в несжатом виде (по протоколу sitemaps.org). Больше - разбить на несколько карт и собрать в sitemap-index.
  4. Файл отдаётся с кодом ответа 200 (не 404 и не через редирект).
  5. В карте - только «правильные» URL: страницы, отдающие 200, не закрытые в robots.txt или noindex, канонические (не дубли).
  6. Файл можно отдавать сжатым (.xml.gz) - удобно для больших карт.

Как создать карту сайта

  • Средствами CMS. Большинство движков умеют генерировать sitemap сами: у WordPress есть встроенная карта и плагины, у Bitrix, Tilda и других - настройка в панели. Это лучший вариант - карта обновляется автоматически, когда вы добавляете или удаляете страницы.
  • Онлайн-генераторы. Сканируют сайт и отдают готовый файл. Годятся для разовой генерации небольшого сайта; минус - обновлять карту придётся вручную.
  • Скриптом или вручную. Для нестандартных случаев и самописных сайтов.

Практический совет: для растущего сайта берите только автоматическую генерацию из CMS. Ручные и разово собранные карты со временем расходятся с реальной структурой - в них остаются удалённые страницы и не попадают новые, и польза превращается в источник ошибок.

Как отдать sitemap поисковикам

  1. Указать ссылку в robots.txt: строка Sitemap: https://site.ru/sitemap.xml.
  2. Добавить в Яндекс Вебмастере - раздел «Файлы Sitemap».
  3. Добавить в Google Search Console - раздел Sitemaps.

После этого поисковик периодически перечитывает карту сам - каждый раз вручную подавать её не нужно.

Как найти ошибки в sitemap

Карта должна содержать только конечные индексируемые адреса. Проверяют так:

  • Яндекс Вебмастер и Google Search Console покажут ошибки обработки карты и сколько адресов из неё в индексе.
  • Screaming Frog или аналог - выгрузить карту и проверить, что в ней нет битых URL, редиректов (301/302), страниц не-200, закрытых в robots или noindex, неканонических дублей.

Типичная беда - карта, забитая мусором: старые удалённые страницы, редиректы и дубли. Такая sitemap не помогает, а сбивает робота с толку.

Что дальше

Карта сайта работает в паре с robots.txt: одна показывает страницы, другой управляет обходом. Как поисковик находит и заносит страницы - в узле индексация и обход. Обзор всего направления - в хабе технический SEO, а проверить сайт на практике - в чек-листе технического аудита.

Частые вопросы

Что такое карта сайта в формате XML?

Это файл sitemap.xml со списком адресов страниц сайта в формате XML - своего рода оглавление для поисковых роботов. Он сообщает Яндексу и Google, какие страницы есть на сайте и когда они менялись, чтобы роботы находили и обходили их быстрее и полнее.

Для чего нужна XML карта сайта?

Она ускоряет и упрощает обнаружение страниц роботами - особенно на крупных сайтах, при сложной структуре и слабой внутренней перелинковке, а также для новых страниц. Карта помогает найти страницы, но не гарантирует их индексацию: это по-прежнему решает поисковик.

Как добавить sitemap на сайт?

Создать файл sitemap.xml (проще всего средствами CMS), разместить его в корне сайта, указать ссылку на него в robots.txt строкой Sitemap: и добавить карту в Яндекс Вебмастере и Google Search Console. После этого поисковики перечитывают её сами.

Нужна ли карта сайта маленькому сайту?

Не критична: если на сайте десяток страниц с понятной перелинковкой, робот обойдёт их и без карты. Но сделать sitemap.xml всё равно стоит - это несложно, вреда нет, а порядок в обходе лучше. Большинство CMS создают карту автоматически.

Сколько адресов можно поместить в один sitemap?

Один файл - до 50 000 URL и до 50 МБ в несжатом виде (по протоколу sitemaps.org). Если страниц больше, карту разбивают на несколько файлов и собирают их в общий файл-оглавление sitemap-index.

Александр Тригуб - SEO-маркетолог
Александр Тригуб
SEO-маркетолог · практик с 2010 года

Продвигаю бизнес на заявки в медицине (YMYL), B2B и интернет-магазинах: вывожу сайты в топ Яндекса и в ответы нейросетей. Делюсь практикой, а не теорией с курсов.

Нужен разбор под ваш сайт?

Пройдите короткий тест и подберите формат: обучение один на один, если хотите вести SEO сами, или аудит с планом правок, если нужно сделать за вас.

Telegram MAX ВКонтакте