Почему страницы не индексируются в Google и как это исправить
Практика3 минРедакция Innovialabs
Коротко
Страница не попадает в индекс либо из-за технического запрета (noindex, robots, canonical, ошибки), либо потому что поисковик не считает её достаточно ценной; первое исправляется настройками, второе — качеством контента и внутренними ссылками.
Короткий ответ
Причин всего две группы. Технические: страница закрыта, недоступна или указывает canonical на другой адрес. Качественные: Google видит страницу, но решает, что она не стоит места в индексе. Первым делом откройте инструмент проверки URL в Google Search Console: он показывает конкретный статус и причину.
Что означают статусы Search Console
| Статус | Что происходит | Куда смотреть |
|---|---|---|
| Обнаружена, не проиндексирована | Google знает URL, но ещё не сканировал | краулинговый бюджет, внутренние ссылки, скорость сервера |
| Просканирована, но пока не проиндексирована | Google прочитал страницу и отложил её | качество и уникальность контента |
| Исключено тегом noindex | на странице стоит запрет | meta robots, X-Robots-Tag |
| Заблокировано в robots.txt | робот не может зайти | правила Disallow |
| Страница с переадресацией | URL редиректит на другой | это норма, если редирект намеренный |
| Дубликат, канонический выбран Google | Google считает основной другую страницу | canonical, дубли, параметры |
| Ошибка сервера (5xx) / Не найдено (404) | страница не отдаётся | сервер, удалённые URL |
Технические причины и исправления
Проверьте по порядку:
- noindex в HTML или HTTP-заголовке. Часто остаётся после разработки или включается плагином.
- robots.txt закрывает раздел. Помните: запрет в robots мешает сканированию, а не гарантирует исключение из индекса.
- Canonical указывает на другую страницу или на себя с другим протоколом и доменом.
- Коды ответа: страница должна отдавать 200, а не 3xx, 404 или 5xx.
- Рендеринг JavaScript: если основной текст появляется только после выполнения скриптов, проверьте в инструменте проверки URL, что Google видит его в отрендеренном HTML.
- Нет в sitemap и нет внутренних ссылок — страница-сирота, которую сложно найти.
Причины качества
Статус «Просканирована, но пока не проиндексирована» чаще всего про ценность страницы:
- Тонкий контент: пара абзацев или карточка без описания.
- Дубли: много почти одинаковых страниц, например фильтры или теги.
- Нет уникальной пользы по сравнению с уже проиндексированными страницами.
- Слабая внутренняя перелинковка: на страницу ведёт одна ссылка из глубины сайта.
Что помогает:
- объединить похожие страницы в одну сильную;
- дописать содержание, отвечающее на реальный вопрос;
- поставить ссылки на страницу из разделов, которые уже в индексе;
- закрыть от индексации служебные и мусорные URL, чтобы робот тратил время на важное.
Как ускорить индексацию после исправлений
- Google: в инструменте проверки URL нажмите «Запросить индексирование». Это сигнал, а не гарантия, и у функции есть дневной лимит.
- Обновите и заново отправьте sitemap.xml с актуальной датой
lastmod. - Яндекс и Bing: используйте протокол IndexNow — сайт сам сообщает поисковикам об изменённых URL. Google этот протокол не поддерживает.
Пример запроса IndexNow:
curl -X POST "https://yandex.com/indexnow" \
-H "Content-Type: application/json; charset=utf-8" \
-d '{
"host": "example.com",
"key": "your-key",
"keyLocation": "https://example.com/your-key.txt",
"urlList": ["https://example.com/new-page"]
}'
Ключ — это строка, которую вы генерируете сами и размещаете в текстовом файле на сайте. Подробности в документации протокола на indexnow.org.
Типичные ошибки
- Многократно нажимать «Запросить индексирование» вместо поиска причины.
- Закрыть страницу в robots.txt и одновременно ждать, что поисковик увидит на ней noindex.
- Генерировать тысячи автоматических страниц и удивляться, что индексируется малая часть.