Индексация сайта: как страница попадает в поиск и почему не попадает
Ещё говорят: индексирование, попадание в индекс, обход и индексация
Индексация — включение страницы в базу поисковой системы, после которого она может показываться в выдаче. Процесс из трёх шагов: робот узнаёт адрес, обходит страницу и принимает решение, брать её в индекс или нет. Последний шаг не гарантирован: обойти — не значит проиндексировать.
Страница вне индекса не участвует ни в обычной выдаче, ни в ответах нейросетей: источники для них берутся из того же индекса.
Путь страницы в поиск
-
Робот узнаёт адрес
из
sitemap.xml, из внутренних ссылок, из чужих ссылок или из данных счётчика — в Яндексе это режим «Обход по счётчику Метрики». - Робот приходит на страницу скачивает HTML. Если сервер отвечает ошибкой или думает слишком долго, обход откладывается.
- Страница оценивается нет ли запретов, не дубль ли это, есть ли на ней содержимое, ради которого её стоит хранить.
- Страница попадает в индекс и только теперь может показываться в выдаче.
Между шагами 3 и 4 и теряется большинство страниц. Они обойдены, но в индекс не взяты, и в Вебмастере получают статус вроде «недостаточно качественная страница».
Почему страница не в индексе
| Причина | Где видно | Что делать |
|---|---|---|
Запрет в robots.txt | Вебмастер, раздел «Индексирование» | убрать директиву, проверить в анализаторе robots.txt |
Метатег noindex | исходный код страницы | убрать тег, повторно отправить на переобход |
canonical на другой адрес | исходный код | исправить канонический адрес |
| Дубли | Вебмастер, «Страницы в поиске» | склеить редиректом или каноникалом |
| Пустая или тонкая страница | статус «недостаточно качественная» | дописать содержимое или удалить и закрыть 301 |
| Контент только в скрипте | просмотр кода без JS | отдавать текст в HTML |
| Сервер отвечает ошибкой | логи, Вебмастер | чинить хостинг и коды ответа |
Обойти — не значит проиндексировать. Между этими двумя событиями и теряется большинство страниц, за которые владелец сайта уже заплатил.
Как проверить
- Яндекс.Вебмастер → Индексирование → Страницы в поиске — сколько страниц в индексе и что из них выпало за период.
- Проверка конкретного URL — в Вебмастере есть отдельный инструмент со статусом и датой последнего обхода.
- Сравнение с
sitemap.xml— сколько адресов в карте против того, сколько в индексе. Разрыв в разы означает системную проблему. - Google Search Console — тот же смысл в отчёте «Индексирование страниц».
Оператор site: в строке поиска даёт приблизительное число и для диагностики не годится: он показывает результат обычного поиска по домену.
Как ускорить
- Отправить на переобход вручную в Вебмастере есть суточная квота на переобход конкретных адресов — её стоит расходовать на важные страницы.
- Включить обход по счётчику Яндекс узнаёт о новых адресах из Метрики, не дожидаясь карты сайта.
- Использовать IndexNow протокол мгновенного уведомления поисковиков об изменениях; Яндекс его поддерживает.
- Проставить внутренние ссылки страница без входящих ссылок — сирота: робот доходит до неё редко и оценивает хуже.
- Ускорить сервер чем быстрее отвечает сайт, тем больше страниц робот успевает обойти за визит.
Индексация и AI-поиск
Нейросети в выдаче не ходят по сайтам сами: они получают документы из поискового индекса — механику разбираем в статье RAG. Значит, страница вне индекса не попадёт и в ответ Нейро. Любая работа над видимостью в нейросетях начинается отсюда.
Частые вопросы
Сколько времени занимает индексация новой страницы?
От нескольких часов до нескольких недель. На молодом сайте без трафика и ссылок дольше, на активном сайте с быстрым сервером — быстрее. Ручная отправка на переобход и IndexNow сокращают ожидание, но не отменяют оценку качества.
Почему страниц в индексе меньше, чем в карте сайта?
Обычно из-за дублей, тонких страниц и служебных адресов, которые незачем индексировать. Разрыв сам по себе не диагноз — смотреть надо, какие именно страницы не дошли и с каким статусом.
Нужно ли закрывать от индексации страницы фильтров и сортировок?
Чаще да: они плодят почти одинаковые адреса и размывают обход. Исключение — фильтры, под которые есть реальный спрос: такие страницы делают посадочными и оставляют открытыми.
Страница выпала из индекса — это санкции?
Почти никогда. В подавляющем большинстве случаев это дубль, тонкий контент или техническая ошибка. Статус в Вебмастере называет причину прямо, и начинать надо с него.
