Дубли страниц: что это и чем они вредят SEO
Основы3 минРедакция Innovialabs
Коротко
Дубли — это один и тот же или почти одинаковый контент по разным URL. Они путают поисковик в выборе главной страницы, распыляют ссылочные сигналы и тратят ресурс обхода; лечатся 301-редиректами, rel=canonical и правильной настройкой параметров.
Что такое дубли и почему это проблема
Дубль — страница, контент которой полностью или почти полностью совпадает с другой страницей сайта, но открывается по другому адресу.
- Полные дубли — один и тот же контент по разным URL:
site.uz/pageиsite.uz/page/. - Частичные дубли — страницы с большой долей общего текста: карточки товаров, отличающиеся только цветом, страницы фильтров и пагинации, одинаковые описания категорий.
Чем это вредит:
- поисковик сам выбирает, какую версию показывать, и может выбрать не ту;
- внешние и внутренние ссылки распределяются между копиями, а не усиливают одну страницу;
- робот тратит время на обход копий вместо новых страниц;
- в выдаче страницы могут меняться местами, и позиции «прыгают».
Сам по себе технический дубль обычно не приводит к санкциям. Санкции возможны, когда копирование делается ради манипуляции — например, массово клонируются страницы под разные запросы.
Типичные технические причины и решения
| Причина | Пример | Решение |
|---|---|---|
| www и без www | www.site.uz и site.uz | 301-редирект на одну версию |
| http и https | http:// и https:// | 301-редирект на https |
| Слеш в конце | /catalog и /catalog/ | Выбрать один формат, 301 на него |
| index-файлы | / и /index.php | 301 на корневой адрес |
| GET-параметры | ?utm_source=..., ?sort=price | rel=canonical на основную страницу, Clean-param для Яндекса |
| Версии для печати | /page/print | noindex или canonical на оригинал |
| Регистр букв | /Page и /page | 301 на нижний регистр |
Как работают основные инструменты
301-редирект — самый надёжный способ, когда копия не нужна пользователю. Посетитель и робот попадают сразу на правильный адрес, а сигналы переходят к нему.
rel=canonical — подсказка поисковику, какая версия главная, когда копия должна остаться доступной (сортировки, UTM-метки):
<link rel="canonical" href="https://site.uz/catalog/">
Google и Яндекс воспринимают canonical как рекомендацию, а не жёсткую команду. Если страницы сильно отличаются, поисковик может его проигнорировать.
Clean-param — директива robots.txt, которую понимает Яндекс. Она сообщает, что параметр не меняет содержимое страницы:
User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaign
noindex — убирает страницу из индекса, но не передаёт её сигналы другой странице. Подходит для служебных страниц, которые не должны попадать в поиск.
Как работать с частичными дублями
- Карточки-варианты: объедините цвета и размеры в одну карточку с выбором варианта или напишите уникальные описания.
- Фильтры: индексируйте только те комбинации, под которые есть реальный спрос, остальные закройте canonical или noindex.
- Пагинация: каждая страница пагинации должна иметь свой canonical на саму себя, а не на первую страницу, если на ней разные товары.
- Шаблонный текст: не повторяйте один и тот же большой SEO-блок на всех страницах категории.
Как найти дубли
- Запустите краулер сайта и найдите совпадающие title, description и H1.
- Проверьте отчёты об индексировании в Search Console — там видно, какие страницы Google считает копиями.
- Посмотрите раздел «Страницы в поиске» и диагностику в Яндекс Вебмастере.
- Вручную откройте сайт с www и без, со слешем и без — должен срабатывать редирект.
Частые ошибки
- Ставить canonical на первую страницу пагинации со всех остальных.
- Закрывать дубли в robots.txt через Disallow — робот не увидит canonical на закрытой странице.
- Использовать во внутренних ссылках разные версии одного адреса.
- Указывать в sitemap неканонические URL.