SEO uchun server loglari tahlili: botlar saytni qanday aylanadi

Search Console bo‘lsa, loglar nega kerak

Search Console va Yandex Webmaster tanlanma va umumlashtirilgan ma’lumotlarni ko‘rsatadi. Server logi esa har bir so‘rovni yozadi: qaysi URL, qachon, qanday javob kodi va qaysi bot. Faqat loglar aniq javob beradi:

• bot qaysi bo‘limlarni ko‘p aylanadi, qaysilarini e’tiborsiz qoldiradi;
• qancha so‘rov keraksiz URL’larga ketadi: parametrlar, dublikatlar, redirektlar;
• bot yangi va muhim sahifalarni ko‘radimi va qanchalik tez;
• qaysi URL’lar botga 4xx va 5xx xatolarini qaytaradi.

1-qadam. Loglarni oling va tayyorlang

Odatda bu combined formatidagi nginx yoki Apache access loglari. Tahlil uchun kerakli maydonlar: IP, sana, metod, URL, javob kodi, hajm, user-agent.

• Kamida bir necha haftalik davrni oling — botlar notekis skanerlaydi.
• Sayt oldida CDN yoki balanser bo‘lsa, logda proksi IP emas, mijozning haqiqiy IPsi yozilishiga ishonch hosil qiling.
• Loglarda foydalanuvchilarning shaxsiy ma’lumotlari bo‘lishi mumkin, shuning uchun SEO tahlili uchun faqat bot qatorlari yetarli.

2-qadam. Bot so‘rovlarini ajrating

Birinchi ko‘rish uchun buyruq qatori yetarli:

# Googlebot va YandexBot qatorlari
grep -E "Googlebot|YandexBot" access.log > bots.log

# Bot so‘rovlari soni bo‘yicha top URL’lar
awk '{print $7}' bots.log | sort | uniq -c | sort -rn | head -50

# Javob kodlari taqsimoti
awk '{print $9}' bots.log | sort | uniq -c | sort -rn

Muntazam ish uchun loglarni maxsus log analizatoriga, jadvalga yoki ma’lumotlar bazasiga yuklab, sayt bo‘limlari bo‘yicha hisobot tuzish qulayroq.

3-qadam. Bot haqiqiy ekanini tekshiring

User-agent’ni soxtalashtirish oson: parserlar va spam-botlar ko‘pincha o‘zini Googlebot deb ko‘rsatadi. Tekshiruv ikki qadamda bajariladi:

1. IP bo‘yicha teskari DNS: host nomi Google uchun googlebot.com yoki google.com bilan, Yandex uchun yandex.ru, yandex.net yoki yandex.com bilan tugashi kerak.
2. Shu nomning to‘g‘ri DNSi o‘sha IP’ni qaytarishi kerak.

host 66.249.66.1
# ... domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# ... has address 66.249.66.1

Google o‘z kraulerlarining IP diapazonlari ro‘yxatini ham e’lon qiladi — ommaviy tekshiruv uchun qulay. Batafsil Google hujjatlarida. Tekshiruvdan o‘tmagan so‘rovlarni SEO tahlilidan chiqarib tashlang.

4-qadam. Ortiqcha skanerlashni toping

URL’larni shablonlar bo‘yicha guruhlang va so‘rovlar qayerga ketayotganini ko‘ring:

Har bir bunday klaster — havolalarni tuzatish, parametrlarni robots.txt’da yopish, sitemap’ni yangilash yoki serverni tezlashtirish uchun sabab.

5-qadam. O‘tkazib yuborilgan muhim sahifalarni toping

Indeksda bo‘lishi kerak bo‘lgan URL’lar ro‘yxatini (sitemap’dan yoki sayt bazasidan) oling va bot loglaridagi URL’lar bilan solishtiring:

• Sitemap’da bor, logda yo‘q — bot sahifani topa olmaydi. Ichki havolalar va joylashuv chuqurligini tekshiring.
• Logda bor, sitemap’da yo‘q — bot siz muhim deb hisoblamagan narsaga vaqt sarflayapti.
• Muhim sahifalar kam skanerlanadi — bot tez-tez kiradigan bo‘limlardan ichki havolalarni kuchaytiring.

Javob vaqtiga ham qarang: u oshsa, botlar ko‘pincha skanerlash intensivligini pasaytiradi.

Ko‘p uchraydigan xatolar

• DNS tekshiruvisiz tahlil: hisobotga soxta botlar tushadi.
• Juda qisqa davr — bir-ikki kunlik ma’lumotdan xulosa.
• Balanser ortida bir nechta node bo‘lsa-da, faqat bitta server loglari.
• Google’ning barcha botlarini (rasmlar, reklama, asosiy krauler) bitta raqamga aralashtirish.