Как работают поисковики: сканирование, индексация, ранжирование
Основы3 минРедакция Innovialabs
Коротко
Поисковик сначала находит страницу роботом, затем отрисовывает и сохраняет её в индекс, а при запросе выбирает из индекса самые полезные ответы. Владелец сайта влияет на каждый этап: доступностью, понятной разметкой и качеством контента.
Коротко: четыре этапа
Google и Яндекс работают по одной схеме:
- Обнаружение — робот узнаёт, что страница существует.
- Сканирование и рендеринг — робот загружает страницу и при необходимости выполняет JavaScript.
- Индексация — поисковик анализирует содержимое и решает, сохранять ли страницу в базу.
- Ранжирование — при каждом запросе система выбирает из индекса подходящие страницы и сортирует их.
Если страница выпала на любом этапе, до пользователя она не дойдёт.
Обнаружение: как робот находит страницы
Поисковый робот (Googlebot, YandexBot) переходит по ссылкам и читает списки адресов. Основные источники:
- внутренние ссылки с других страниц вашего сайта;
- внешние ссылки с чужих сайтов;
- sitemap.xml — файл со списком страниц;
- ручная отправка URL в Google Search Console или Яндекс Вебмастер.
Что вы контролируете: страница без единой ссылки на неё («сирота») может так и не найтись. Держите sitemap актуальным и связывайте важные страницы ссылками.
Сканирование и рендеринг
Робот запрашивает страницу у сервера. Здесь важны:
- robots.txt — разрешает или запрещает сканировать разделы;
- ответ сервера — код 200 для живых страниц, 301 для переездов, 404 для удалённых;
- скорость и стабильность — если сервер отвечает медленно или с ошибками, робот сканирует меньше.
Современные поисковики умеют выполнять JavaScript, но рендеринг требует ресурсов и может происходить с задержкой. Если ключевой текст появляется только после работы скриптов, есть риск, что он будет учтён позже или неполностью. Поэтому для контентных сайтов часто выбирают серверный рендеринг (SSR) или статическую генерацию.
Индексация: попадёт ли страница в базу
Не каждая просканированная страница попадает в индекс. Поисковик может её отклонить, если она:
- закрыта тегом
noindex; - дублирует другую страницу (тогда учитывается canonical-версия);
- почти пустая или бесполезная;
- отдаёт ошибку или перенаправляет.
<!-- Запрет индексации -->
<meta name="robots" content="noindex">
<!-- Указание основной версии страницы -->
<link rel="canonical" href="https://example.com/services/seo">
Что вы контролируете: уникальный контент, правильные canonical, отсутствие случайных noindex. Проверить статус можно в отчётах об индексировании Search Console и Вебмастера.
Ранжирование: кто окажется выше
На запрос пользователя система за доли секунды выбирает подходящие страницы и сортирует их. Точные формулы закрыты, но основные группы факторов известны:
| Группа | Примеры |
|---|---|
| Релевантность | насколько страница отвечает на смысл запроса, а не только содержит слова |
| Качество и экспертиза | полнота, точность, понятный автор и источник |
| Авторитет | ссылки и упоминания с других сайтов |
| Удобство | скорость, мобильная версия, отсутствие навязчивых элементов |
| Контекст | местоположение пользователя, язык, тип устройства |
| Поведение | у Яндекса заметную роль играют сигналы взаимодействия пользователей с выдачей |
Выдача персонализирована: два человека в разных городах могут видеть разные результаты.
Где теряются страницы: чек-лист
- Страница не связана ссылками и не указана в sitemap.
- Раздел случайно закрыт в robots.txt.
- Сервер отдаёт 5xx или очень медленно отвечает.
- Основной контент подгружается только скриптом после действий пользователя.
- Стоит
noindex, оставшийся с тестовой версии. - Несколько URL с одинаковым содержимым без canonical.
- Текст не отвечает на запрос, под который страница задумана.