robots.txt’ni to‘g‘ri sozlash: qoidalar va misollar

Qisqa javob

robots.txt — sayt ildizida joylashgan matnli fayl (https://example.com/robots.txt), u qidiruv robotlariga qaysi bo‘limlarni aylanib chiqmaslik kerakligini aytadi. U skanerlashni boshqaradi, indeksatsiyani emas: yopilgan sahifaga havolalar bo‘lsa, u baribir qidiruvda chiqishi mumkin. Sahifani qidiruvdan olib tashlash uchun noindex ishlating, robots.txt esa robot resurslarini keraksiz URL’larga sarflamaslik uchun kerak.

Asosiy direktivalar

Qoidalar User-agent bo‘yicha guruhlanadi. Robot o‘zi uchun eng aniq guruhni tanlaydi, uning ichida Allow va Disallow zid kelsa, yo‘l bo‘yicha uzunroq mos kelgan qoida ustun bo‘ladi.

Joker belgilar

• * — istalgan belgilar ketma-ketligi: Disallow: /*?sort= saralash parametri bor barcha URL’larni yopadi.
• $ — qator oxiri: Disallow: /*.pdf$ PDF fayllarni yopadi, lekin /pdf-guide/ni emas.

Yo‘llar registrga sezgir, Disallow: /catalog esa /catalog-old/ni ham yopadi. Faqat bo‘lim kerak bo‘lsa, /catalog/ deb yozing.

Yandex uchun Clean-param

Bu direktiva Yandex’ga parametrlar sahifa mazmunini o‘zgartirmasligini aytadi va bunday URL’lar bitta sahifa deb hisoblanadi:

User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaign /
Clean-param: ref /catalog/

Birinchi qator butun saytda UTM-belgilarni olib tashlaydi, ikkinchisi katalogdagi ref parametrini. Google bu direktivani qo‘llab-quvvatlamaydi: u uchun dublikatlar rel="canonical" orqali hal qilinadi.

Tayyor shablonlar

WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /*?replytocom=

Sitemap: https://example.com/sitemap.xml

1C-Bitrix:

User-agent: *
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: /search/
Disallow: /*?sort=
Allow: /bitrix/*.css
Allow: /bitrix/*.js

Sitemap: https://example.com/sitemap.xml

Framework’dagi sayt (Next.js va shunga o‘xshashlar):

User-agent: *
Disallow: /api/
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

Shablonlar — boshlang‘ich nuqta. Chop etishdan oldin ularni o‘z saytingiz tuzilmasi bilan solishtiring.

Faylni qanday tekshirish kerak

1. Brauzerda /robots.txtni oching: fayl 200 kodi va oddiy matn qaytarishi kerak.
2. Google Search Console — robots.txt hisoboti Google qaysi versiyani ko‘rayotganini va xatolarni ko‘rsatadi.
3. Yandex Webmaster — «Asboblar» → «robots.txt tahlili»: aniq URL’larga ruxsat borligini tekshirish mumkin.
4. O‘zgarishlardan keyin bir nechta asosiy sahifani tekshiring — ular ochiq qolishi kerak.

Protokol tafsilotlari: Google’ning robots.txt hujjatlari.

Ko‘p uchraydigan xatolar

• Test serverdan ko‘chirilgandan keyin ishlayotgan saytda qolib ketgan Disallow: /.
• CSS va JS yopilgan — qidiruv tizimi sahifani to‘g‘ri chiza olmaydi.
• Sahifani qidiruvdan noindex o‘rniga robots.txt orqali olib tashlashga urinish.
• noindex tegi bor sahifalarni robots.txt’da yopish — robot tegni ko‘rmaydi.
• Yandex endi hisobga olmaydigan Host kabi eskirgan direktivalar.