Что такое страницы-сироты и как их найти

Что такое страница-сирота

Страница-сирота (orphan page) — страница, которая существует и открывается, но на неё не ссылается ни одна другая страница вашего сайта. Попасть на неё можно только по прямой ссылке, из sitemap или из внешнего источника.

Почему это плохо:

• Робот находит её с трудом. Поисковики в основном открывают новые страницы, переходя по ссылкам. Если ссылок нет, остаётся только sitemap, а он — подсказка, а не гарантия.
• Она редко пересканируется. Изменения на странице долго не попадают в индекс.
• Ей не передаётся вес. Внутренние ссылки показывают, какие страницы важны. Страница без ссылок выглядит для поисковика неважной.
• Пользователь её тоже не найдёт. Из меню и других разделов на неё не попасть.

Откуда берутся сироты: удалили раздел из меню, но оставили страницы; лендинги для рекламы; старые страницы после редизайна; товары, которые выпали из категорий; ошибки в пагинации; страницы, созданные CMS автоматически.

Как найти: пошаговый метод

Идея простая — собрать список URL из разных источников и найти те, что есть в одних, но отсутствуют в данных краулера.

Шаг 1. Просканируйте сайт краулером

Запустите Screaming Frog, Sitebulb или аналог от главной страницы. Краулер идёт по ссылкам так же, как робот поисковика, поэтому сироты в его список не попадут. Выгрузите все найденные URL с кодом 200.

Шаг 2. Соберите URL из sitemap

Выгрузите все адреса из sitemap.xml. Многие краулеры умеют загружать sitemap отдельно и сразу показывают адреса, которые есть в карте, но не найдены по ссылкам.

Шаг 3. Добавьте данные аналитики и вебмастеров

• Из Google Analytics или Яндекс Метрики — страницы входа за длительный период.
• Из Google Search Console — страницы из отчётов по эффективности и индексированию.
• Из Яндекс Вебмастера — страницы в поиске.
• Если есть доступ — логи сервера: какие URL запрашивают роботы.

Шаг 4. Сравните списки

Приведите URL к одному виду: один протокол, одинаковый слеш в конце, без UTM-меток. Затем найдите адреса, которые есть в sitemap, аналитике или логах, но отсутствуют в результатах краулера. Это и есть кандидаты в сироты.

Для небольшого сайта хватит таблицы и функции поиска совпадений. Для большого удобнее короткий скрипт:

crawl = set(open("crawl.txt").read().split())
other = set(open("sitemap.txt").read().split()) | set(open("analytics.txt").read().split())
orphans = sorted(other - crawl)
print("\n".join(orphans))

Шаг 5. Проверьте каждого кандидата вручную

Не все найденные адреса — настоящие сироты. Часть может отдавать редирект или 404, часть — быть дублями с параметрами. Проверьте код ответа и содержимое.

Что делать с найденными страницами

При добавлении ссылок думайте о логике сайта: страница должна быть доступна из того раздела, где пользователь её ожидает, а не из случайного блока в подвале.

Как не допускать сирот

• Проверяйте внутренние ссылки при каждом удалении раздела или изменении меню.
• Генерируйте sitemap автоматически из данных CMS и сравнивайте его с краулингом хотя бы раз в квартал.
• Для блогов и каталогов используйте блоки «похожие материалы» и хлебные крошки.
• После редизайна или миграции обязательно сравнивайте старый и новый список URL.