Yetim sahifalar nima va ularni qanday topish mumkin

Yetim sahifa nima

Yetim sahifa (orphan page) — mavjud va ochiladigan, lekin saytingizdagi birorta boshqa sahifa unga havola bermaydigan sahifa. Unga faqat to‘g‘ridan-to‘g‘ri havola, sitemap yoki tashqi manba orqali kirish mumkin.

Nega bu yomon:

• Robot uni qiyinchilik bilan topadi. Qidiruv tizimlari yangi sahifalarni asosan havolalar bo‘ylab o‘tib topadi. Havola bo‘lmasa, faqat sitemap qoladi, u esa kafolat emas, maslahat.
• U kam qayta skanerlanadi. Sahifadagi o‘zgarishlar indeksga uzoq vaqt kirmaydi.
• Unga og‘irlik o‘tmaydi. Ichki havolalar qaysi sahifalar muhimligini ko‘rsatadi. Havolasiz sahifa qidiruv tizimiga ahamiyatsiz bo‘lib ko‘rinadi.
• Foydalanuvchi ham uni topmaydi. Menyu va boshqa bo‘limlardan unga o‘tib bo‘lmaydi.

Yetimlar qayerdan paydo bo‘ladi: bo‘lim menyudan olib tashlangan, sahifalar esa qolgan; reklama uchun lendinglar; redizayndan keyingi eski sahifalar; kategoriyalardan tushib qolgan mahsulotlar; paginatsiyadagi xatolar; CMS avtomatik yaratgan sahifalar.

Qanday topish mumkin: bosqichma-bosqich usul

G‘oya oddiy — turli manbalardan URL ro‘yxatini yig‘ish va ba’zilarida bor, lekin krauler ma’lumotlarida yo‘q manzillarni topish.

1-qadam. Saytni krauler bilan skanerlang

Screaming Frog, Sitebulb yoki shunga o‘xshash vositani bosh sahifadan ishga tushiring. Krauler xuddi qidiruv roboti kabi havolalar bo‘ylab yuradi, shuning uchun yetimlar uning ro‘yxatiga tushmaydi. 200 kodli barcha URL’larni yuklab oling.

2-qadam. Sitemap’dan URL’larni yig‘ing

sitemap.xml dagi barcha manzillarni yuklab oling. Ko‘p kraulerlar sitemap’ni alohida yuklay oladi va xaritada bor, lekin havolalar orqali topilmagan manzillarni darhol ko‘rsatadi.

3-qadam. Analitika va vebmaster ma’lumotlarini qo‘shing

• Google Analytics yoki Yandex Metrika’dan — uzoq davr uchun kirish sahifalari.
• Google Search Console’dan — samaradorlik va indekslash hisobotlaridagi sahifalar.
• Yandex Webmaster’dan — qidiruvdagi sahifalar.
• Kirish imkoni bo‘lsa — server loglari: robotlar qaysi URL’larni so‘raydi.

4-qadam. Ro‘yxatlarni solishtiring

URL’larni bir ko‘rinishga keltiring: bitta protokol, oxiridagi slesh bir xil, UTM-belgilarsiz. So‘ng sitemap, analitika yoki loglarda bor, lekin krauler natijalarida yo‘q manzillarni toping. Aynan ular yetim nomzodlari.

Kichik sayt uchun jadval va moslikni qidirish funksiyasi yetarli. Katta sayt uchun qisqa skript qulayroq:

crawl = set(open("crawl.txt").read().split())
other = set(open("sitemap.txt").read().split()) | set(open("analytics.txt").read().split())
orphans = sorted(other - crawl)
print("\n".join(orphans))

5-qadam. Har bir nomzodni qo‘lda tekshiring

Topilgan manzillarning hammasi ham haqiqiy yetim emas. Ba’zilari redirekt yoki 404 qaytarishi, ba’zilari parametrli dublikat bo‘lishi mumkin. Javob kodi va mazmunini tekshiring.

Topilgan sahifalar bilan nima qilish kerak

Havola qo‘shayotganda sayt mantiqini o‘ylang: sahifaga podvaldagi tasodifiy blokdan emas, foydalanuvchi uni kutadigan bo‘limdan o‘tish mumkin bo‘lishi kerak.

Yetimlarga yo‘l qo‘ymaslik

• Har safar bo‘limni o‘chirganda yoki menyuni o‘zgartirganda ichki havolalarni tekshiring.
• Sitemap’ni CMS ma’lumotlaridan avtomatik yarating va uni kamida chorakda bir marta krauling bilan solishtiring.
• Blog va kataloglarda «o‘xshash materiallar» bloklari va «non ushoqlari»dan foydalaning.
• Redizayn yoki migratsiyadan keyin eski va yangi URL ro‘yxatlarini albatta solishtiring.