Ko‘p qo‘lli bandit yoki A/B test: qachon qaysi birini tanlash kerak

Qisqa javob

A/B test va ko‘p qo‘lli bandit (multi-armed bandit) turli vazifalarni hal qiladi.

• A/B test trafikni oxirigacha qat’iy nisbatda bo‘ladi, so‘ng qaysi variant yaxshiroq ekanini va natijaga qanchalik ishonish mumkinligini ko‘rsatadi. Uning maqsadi — bilib olish.
• Bandit trafikni doimiy ravishda hozir eng yaxshi ishlayotgan variantga suradi. Uning maqsadi — test davomida ko‘proq daromad olish.

Agar natija uzoq muddatli qarorni belgilasa, A/B test o‘tkazing. Agar vaqt oynasi qisqa va har bir yo‘qotilgan konversiya qimmatga tushsa, odatda bandit qulayroq.

«Explore — exploit» murosasi

Nomi bir nechta o‘yin avtomatlari («bir qo‘lli banditlar») oldida turgan o‘yinchi haqidagi masaladan kelgan. Avtomatlarning to‘lovi noma’lum va har safar tanlash kerak:

• Explore (o‘rganish) — kam ma’lumot bor avtomatni sinab, uning to‘lovini bilish.
• Exploit (foydalanish) — hozircha eng yaxshi ko‘ringan avtomatni tortib, yutuqni olish.

Faqat o‘rganish yomon avtomatlarga pul sarflaydi. Faqat foydalanish esa boshida shunchaki omadi kelgan liderni mustahkamlab qo‘yishi mumkin. Klassik A/B test — avval toza o‘rganish, keyin toza foydalanish: oxirigacha teng split, so‘ng 100% g‘olibga. Bandit esa ikkala rejimni uzluksiz aralashtiradi.

Bandit trafikni qanday qayta taqsimlaydi

Oddiydan moslashuvchanroqqa qarab uchta keng tarqalgan yondashuv:

Konversiyalar uchun Thompson sampling’ning minimal qadami:

import random

def choose(arms):
    # arms: {"A": {"conv": 30, "views": 1000}, "B": {...}}
    draws = {
        name: random.betavariate(1 + a["conv"], 1 + a["views"] - a["conv"])
        for name, a in arms.items()
    }
    return max(draws, key=draws.get)

Variant foydasiga dalillar ko‘paygan sari u tez-tez yutadi va avtomatik ravishda ko‘proq trafik oladi.

Bandit qayerda A/B testdan yaxshiroq

• Qisqa aksiyalar. Dam olish kunlaridagi chegirma yoki bayram banneri uchun «testdan keyin» bo‘lmaydi — imkoniyat kampaniya bilan tugaydi. Statistik ahamiyatlilikni kutish oynaning katta qismini yo‘qotish demakdir.
• Sarlavhalar va muqovalar. Media va kontent saytlari umri qisqa ko‘plab sarlavhalarni sinaydi. Bandit trafikni tezda eng kuchlisiga jamlaydi.
• Reklama kreativlari. Reklama platformalari kreativlarni allaqachon moslashuvchan aylantiradi; aylantirishni o‘zingiz boshqarganda ham shu mantiq ishlaydi.
• Ko‘p variantlar. Besh-o‘nta variantda teng split aniq yutqazuvchilarga ko‘p trafik sarflaydi. Bandit ularni tez chetlatadi.
• Doimiy optimizatsiya. Tavsiyalar bloklari yoki xat mavzulari, bu yerda «eng yaxshi» variant vaqt o‘tishi bilan o‘zgaradi.

Nega bandit sababiy ta’sirni o‘lchashda yomonroq

Bandit bilimni emas, natijani maksimallashtiradi. Buning o‘z narxi bor:

• Teng bo‘lmagan tanlanmalar. Yutqazayotgan variantlar kam trafik oladi, ularning baholari shovqinli qoladi. G‘olib ehtimol yaxshiroq ekanini bilasiz, lekin qanchalik ekanini bilmaysiz.
• Siljigan baholar. Taqsimot oldingi natijalarga bog‘liq, shuning uchun variantlar bo‘yicha «sodda» konversiyalar siljigan bo‘ladi. Oddiy t-testlar va ishonch oraliqlarini to‘g‘ridan-to‘g‘ri qo‘llab bo‘lmaydi.
• Vaqt ta’siri aralashadi. Agar lider asosiy trafikni dam olish kunlari, qolganlari esa ish kunlari olsa, hafta kuni ta’siri variant ta’siridek ko‘rinishi mumkin.
• Kechikkan konversiyalar mantiqni buzadi. Xarid klikdan bir necha kun keyin bo‘lsa, algoritm trafikni to‘liq bo‘lmagan ma’lumotlar asosida taqsimlaydi.
• Ikkilamchi metrikalarni o‘qish qiyin. Qiyshaygan tanlanmalarda retention, qaytarishlar yoki o‘rtacha chekni solishtirish ishonchsiz.

Mahsulot o‘zgarishlari, narxlar, buyurtma rasmiylashtirish sahifasini qayta loyihalash va oylab saqlanadigan har qanday narsa uchun bu zaifliklar test davomida tejalgan konversiyalardan muhimroq.

Qanday tanlash kerak

To‘rtta savolga javob bering:

1. Qaror testdan keyin uzoq yashaydimi? Ha — A/B test. Yo‘q — banditni ko‘rib chiqing.
2. Biznes asoslash yoki prognoz uchun ta’sir hajmi kerakmi? Ha — A/B test.
3. Qayta aloqa tezmi (sessiya ichidagi kliklar, ro‘yxatdan o‘tishlar)? Banditga tez mukofotlar kerak.
4. Nechta variant bor? Cheklangan trafikda ko‘p variant — bandit foydasiga dalil.

Keng tarqalgan gibrid sxema: bandit yordamida ko‘plab kreativlarni saralash, so‘ng uzoq muddatli joriy etishdan oldin eng yaxshi ikkitasini to‘liq A/B test bilan tasdiqlash.

Keng uchraydigan xatolar

• Banditni ishga tushirib, keyin A/B test natijasidek «B variant konversiyani X% oshirdi» deb hisobot berish.
• Haqiqiy maqsad daromad bo‘lganda kliklarni optimallashtirish: bandit bajonidil clickbait topadi.
• Kechikishi katta metrika uchun banditdan foydalanish.
• Epsilon yoki apriori qiymatlarni shunchalik agressiv sozlashki, algoritm bir nechta konversiyadan keyinoq g‘olibni tanlab qo‘yadi.
• Nazorat metrikalarini — bounce rate, qaytarishlarni kuzatmaslik.