Что такое краулинговый бюджет и когда о нем стоит думать
Основы3 минРедакция Innovialabs
Коротко
Краулинговый бюджет — это сколько страниц поисковый робот готов и хочет обойти на вашем сайте; думать о нем стоит крупным и часто обновляемым сайтам, а остальным важнее не плодить мусорные URL.
Коротко о главном
Краулинговый бюджет — это объем страниц, который поисковый робот обходит на сайте за определенное время. Он складывается из двух частей:
- Лимит скорости сканирования (crawl rate) — сколько запросов робот может сделать, не перегружая сервер. Если сайт отвечает быстро и без ошибок, лимит растет. Если тормозит или отдает 5xx — снижается.
- Потребность в сканировании (crawl demand) — насколько поисковику интересно обходить ваши страницы. Популярные и часто обновляемые URL робот посещает чаще, а устаревшие и малозначимые — реже.
Если робот тратит время на мусорные адреса, важные страницы индексируются с задержкой.
Кому это действительно важно
Для большинства небольших сайтов краулинговый бюджет не проблема: робот спокойно обходит несколько сотен или тысяч страниц. Google в своей документации прямо говорит, что тема актуальна прежде всего для очень крупных сайтов и сайтов с быстро меняющимся контентом.
Задуматься стоит, если у вас:
- интернет-магазин с фильтрами и десятками тысяч товаров;
- агрегатор или доска объявлений, где страницы появляются и исчезают каждый день;
- новостной сайт, где важна скорость попадания в индекс;
- в отчетах видно много страниц со статусом «Обнаружена, не проиндексирована».
Что тратит бюджет впустую
| Источник | Почему вредит |
|---|---|
| URL-параметры и фильтры | Бесконечные комбинации ?color=red&sort=price создают тысячи дублей |
| Цепочки редиректов | Каждый лишний переход — отдельный запрос робота |
| Тонкие и пустые страницы | Пустые категории, теги с одной записью, страницы поиска по сайту |
| Дубли | Версии с www и без, со слешем и без, http и https |
| Soft 404 | Страница «товар не найден» с кодом 200 |
| Бесконечные пространства | Календари, пагинация без конца, генерируемые ссылки |
| Медленный сервер | Робот снижает частоту запросов |
Как навести порядок
- Посмотрите статистику сканирования в Google Search Console и Яндекс Вебмастере. Там видно, сколько запросов делает робот и на какие ответы натыкается.
- Проанализируйте логи сервера. Это самый точный способ понять, какие URL робот реально посещает.
- Закройте мусорные параметры в
robots.txt. Для Яндекса есть директиваClean-param, которая склеивает URL с незначимыми параметрами. - Уберите цепочки редиректов — ведите сразу на конечный адрес.
- Настройте canonical для дублей и noindex для служебных страниц, но помните: robots.txt запрещает обход, а noindex работает только если страницу можно обойти.
- Держите sitemap.xml чистым — только канонические страницы с кодом 200.
- Ускорьте ответ сервера и исправьте ошибки 5xx.
Пример правил в robots.txt:
User-agent: *
Disallow: /search
Disallow: /*?sort=
User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaign
Частые ошибки
- Закрыть страницу в robots.txt и одновременно ждать, что робот увидит на ней noindex.
- Добавлять в sitemap редиректы, 404 и неканонические URL.
- Генерировать тысячи посадочных страниц без уникального содержания.
- Пытаться «увеличить бюджет» вместо того, чтобы сократить количество мусорных URL.