Noindex или Disallow в robots.txt: что выбрать
Основы3 минРедакция Innovialabs
Коротко
Disallow в robots.txt запрещает роботу заходить на страницу, а noindex запрещает показывать ее в поиске; чтобы убрать страницу из выдачи, нужен noindex и открытый для сканирования URL.
Короткий ответ
- Disallow в robots.txt запрещает сканирование: робот не загружает страницу.
- noindex (метатег или HTTP-заголовок) запрещает индексацию: робот загружает страницу, но не показывает ее в поиске.
Если цель — чтобы страницы не было в выдаче, используйте noindex. Если цель — не тратить ресурсы робота на бесполезные URL, используйте Disallow.
Почему Disallow не убирает страницу из поиска
Disallow говорит только «не заходи». Но если на закрытую страницу ведут ссылки с вашего или чужих сайтов, Google может добавить ее URL в индекс, не зная содержимого. В выдаче появится адрес без нормального описания.
Поэтому robots.txt — это инструмент управления сканированием, а не способ спрятать страницу.
Как работает noindex
Noindex задается в HTML:
<meta name="robots" content="noindex">
Или HTTP-заголовком — так можно закрывать PDF, изображения и другие файлы без HTML:
X-Robots-Tag: noindex
Чтобы директива сработала, робот должен загрузить страницу и увидеть ее. Google и Яндекс учитывают noindex в метатеге. Директива noindex внутри robots.txt Google не поддерживается.
Почему сочетание Disallow + noindex не работает
Это самая частая ошибка: страницу закрывают в robots.txt и добавляют noindex «для надежности». В итоге:
- Robots.txt запрещает загружать страницу.
- Робот не загружает ее и не видит noindex.
- Если на URL есть ссылки, он может остаться в индексе.
Правильная последовательность для удаления уже проиндексированной страницы:
- Добавьте noindex, при этом не закрывайте URL в robots.txt.
- Дождитесь, пока страница выпадет из индекса (проверьте в Search Console или Яндекс Вебмастере).
- Только после этого при необходимости закройте ее через Disallow, чтобы экономить ресурсы сканирования.
Что выбрать для типичных страниц
| Тип страницы | Что использовать |
|---|---|
| Корзина, оформление заказа, личный кабинет | noindex или Disallow; в индекс они обычно не попадают сами |
| Внутренний поиск по сайту | noindex; Disallow, если таких URL очень много |
| Фильтры и сортировки с параметрами | canonical на основную страницу, Disallow для бесконечных комбинаций |
| Страница «Спасибо за заявку» | noindex |
| PDF и файлы, которые не нужны в поиске | X-Robots-Tag: noindex |
| Дубли страниц | canonical, а не Disallow |
| Тестовый (staging) сайт | закрытие паролем; robots.txt и noindex не защищают от доступа |
| Технические URL, служебные скрипты | Disallow |
Частые ошибки
- Закрыть в robots.txt CSS и JS. Робот не сможет отрисовать страницу и может неверно оценить ее.
- Перенести
Disallow: /со staging на прод. Весь сайт перестанет сканироваться. Проверяйте robots.txt после каждого релиза. - Оставить noindex в шаблоне после разработки. Страницы тихо пропадают из выдачи.
- Использовать robots.txt для секретных разделов. Файл публичный, и любой может прочитать, какие пути вы скрываете.