Индексация и обход сайта: как поисковик находит страницы

Индексация - это добавление страницы в базу поисковика; пока страницы нет в индексе, она не показывается в выдаче. Путь в поиск - три шага: обход (робот находит страницу по ссылкам и карте сайта), индексация (заносит в базу) и ранжирование (только проиндексированные страницы участвуют в выдаче). Ошибка на любом шаге обрывает цепочку. Проверяют индексацию в Яндекс Вебмастере и Search Console, а частые причины «не в индексе» - noindex/robots, ответ сервера не 200, страница-сирота или дубль.

Что такое индексация и почему без неё нет позиций

Индексация - это добавление страницы в базу поисковика. Пока страницы нет в индексе, она не может показываться в выдаче: искать не в чем. Поэтому диагностику любого проседания в SEO начинают не с текста и ссылок, а с простого вопроса - а страница вообще в индексе? Красивый контент не даст позиций, если робот до страницы не дошёл или не занёс её в базу.

Как робот находит страницы (обход)

Сначала поисковик должен страницу найти. Это делает робот-краулер, и находит он страницы двумя путями:

• По ссылкам. Робот ходит по ссылкам с уже известных страниц. Если на страницу нет ни одной внутренней ссылки (страница-сирота), робот может её и не найти.
• По карте сайта (sitemap.xml). Это список адресов, который вы сами отдаёте поисковику - подсказка «вот мои страницы».

Практический вывод: важные страницы должны быть в перелинковке и в карте сайта - тогда их находят быстрее.

Обход, индексация, ранжирование - три разных шага

Их часто путают, а это разные стадии:

• Обход (краулинг) - робот нашёл и скачал страницу.
• Индексация - разобрал и занёс в базу. Скачал не значит проиндексировал: страница может быть обойдена, но не попасть в индекс (например, сочтена дублем или малополезной).
• Ранжирование - только проиндексированные страницы участвуют в выдаче и выстраиваются по релевантности.

Ошибка на любом шаге обрывает цепочку: не обошли - не проиндексируют, не проиндексировали - не будет позиций.

Как проверить индексацию: 5 способов

Убедиться, что сайт или отдельная страница в индексе, можно несколькими способами - от точных панелей вебмастера до быстрой прикидки:

1. Яндекс Вебмастер - раздел «Индексирование - Страницы в поиске»: сколько страниц в индексе, какие и почему исключены. Главный и точный источник для Яндекса.
2. Google Search Console - отчёт «Индексирование страниц»: проиндексированные и непроиндексированные URL с причинами. То же самое для Google.
3. Инструмент проверки URL в Вебмастере и Search Console - статус конкретной страницы: в индексе или нет и когда её обходили. Здесь же можно отправить страницу на переобход.
4. Оператор site: (например, site:вашсайт.ру в строке поиска) - грубая прикидка, что вообще в индексе. Число приблизительное; для точности - панели вебмастера.
5. Онлайн-сервисы массовой проверки - прогоняют список адресов пачкой и показывают, какие из них в индексе. Удобно для большого сайта, но эталоном остаются Вебмастер и Search Console.

Для одной страницы проще всего инструмент проверки URL; для всего сайта - раздел «Страницы в поиске» в Вебмастере или массовая проверка списком.

Почему страница не в индексе - частые причины

• Закрыта от индексации - Disallow в robots.txt или мета-тег noindex (частый случай после переноса сайта с тестового сервера).
• Сервер отдаёт не 200 - страница вернула 404, 500 или 503 в момент обхода (см. коды ответа).
• Нет ссылок на страницу - сирота, до которой робот не дошёл.
• Дубль - поисковик счёл страницу копией другой и оставил в индексе одну (см. канонизация).
• Тонкий или неуникальный контент - страница есть, но поиск не видит смысла её индексировать.
• Свежая страница - её просто ещё не успели обойти; иногда нужно время и переобход.

Как ускорить индексацию

Управляемых рычагов немного, но они работают: держать актуальный sitemap.xml и отдавать его в Вебмастере; выстраивать внутреннюю перелинковку на важные страницы; вручную отправлять новые URL на переобход в панели вебмастера; закрыть технические преграды (robots, коды ответа, дубли). Гарантировать скорость и сам факт индексации нельзя - поисковик решает сам, - но убрать преграды и подсказать карту в наших силах.

Частые заблуждения

• «Сайт открылся в браузере - значит, он в индексе». Нет. Доступность для вас и наличие в базе поиска - разные вещи. Проверяют в Вебмастере.
• «Отправил на переобход - проиндексируют сразу». Не обязательно. Переобход ускоряет, но не гарантирует и не мгновенен.
• «Чем больше страниц в индексе, тем лучше». Нет. В индексе нужны полезные страницы; мусорные дубли и пустышки лучше закрыть, иначе они размывают сайт.

Что дальше

Индексация - первый блок технического SEO. Дальше - управление обходом через robots.txt и sitemap.xml, коды ответа сервера и зеркала, скорость и мобильность (следующие узлы направления). Проверить свой сайт по всем пунктам сразу - в чек-листе технического аудита. Общая картина, что такое SEO и где здесь техника, - в разборе что такое SEO простыми словами.

Частые вопросы

Чем обход отличается от индексации?

Обход (краулинг) - робот нашёл и скачал страницу. Индексация - разобрал и занёс в базу поиска. Скачал не значит проиндексировал: страница может быть обойдена, но не попасть в индекс, если сочтена дублем или малополезной. В выдаче участвуют только проиндексированные страницы.

Как проверить, в индексе ли страница?

Точнее всего - в Яндекс Вебмастере и Google Search Console: разделы про страницы в поиске и инструмент проверки конкретного URL. Грубая прикидка - оператор site:вашсайт.ру в поиске, но число там приблизительное; для точности смотрят панели вебмастера.

Почему страница не индексируется?

Частые причины: закрыта от индексации (Disallow в robots.txt или мета-тег noindex), сервер отдаёт не 200 (404/500/503), на страницу нет внутренних ссылок (сирота), поиск счёл её дублем или тонкой/неуникальной, либо она свежая и её ещё не успели обойти.

Как ускорить индексацию?

Держать актуальный sitemap.xml и отдавать его в Вебмастере, выстраивать внутреннюю перелинковку на важные страницы, вручную отправлять новые URL на переобход и убирать технические преграды (robots, коды ответа, дубли). Ускорить можно, гарантировать сам факт и скорость индексации - нет, это решает поисковик.

Если сайт открывается в браузере, он уже в индексе?

Нет. Доступность сайта для вас и наличие его страниц в базе поиска - разные вещи. Страница может открываться, но быть закрыта noindex или ещё не обойдена. Наличие в индексе проверяют в панелях вебмастера, а не по тому, грузится ли сайт.

Что такое краулинговый бюджет и нужно ли им заниматься?

Краулинговый бюджет - это примерное число страниц, которое робот обходит за визит. Небольшим сайтам (до нескольких тысяч страниц) он практически не мешает - беспокоиться незачем. Он важен на крупных сайтах: там робота уводят со служебных и мусорных страниц через robots.txt и чистку дублей, чтобы обходы тратились на важное, а не на бесконечные фильтры и параметры.