AI yordamida kontent moderatsiyasi: izohlar, sharhlar va chatlar

Qisqacha qanday ishlaydi

AI-moderatsiya — izohlar, sharhlar va xabarlarni e’lon qilishdan oldin yoki darhol keyin avtomatik tekshirish. Ishlaydigan sxema deyarli har doim ko‘p bosqichli bo‘ladi:

1. Tezkor qoidalar: taqiqlangan so‘zlar, havolalar, telefon raqamlari, takroriy xabarlar.
2. Moderation API: matnni toifalar bo‘yicha (haqorat, tahdid, jinsiy kontent va h.k.) baholab, ehtimollarni qaytaradigan tayyor modellar.
3. LLM-klassifikator: promptida sizning siyosatingiz bo‘lgan til modeli — kontekst, kinoya va platformaga xos qoidalar uchun.
4. Inson: bahsli holatlar va apellyatsiyalar uchun.

Har bir bosqich oqimning bir qismini saralaydi va qimmat bosqichlarga faqat haqiqatan e’tibor talab qiladigan narsa yetib boradi.

Modeldan emas, siyosatdan boshlang

Yozma siyosatsiz moderatsiya foydalanuvchilar uchun ham, model uchun ham oldindan aytib bo‘lmaydigan bo‘ladi. Siyosat quyidagi savollarga javob berishi kerak:

• qaysi toifalar taqiqlangan (haqorat, spam, raqobatchilar reklamasi, shaxsiy ma’lumotlar, tahdidlar);
• nimaga ruxsat bor: sharhdagi keskin, lekin asosli tanqid — haqorat emas;
• har bir holatda nima qilinadi: yashirish, tekshiruvga yuborish, muallifni ogohlantirish, bloklash;
• har bir toifa uchun «ruxsat / taqiq» misollari.

Aynan shu misollar keyin LLM-klassifikator promptiga va test to‘plamiga kiradi.

O‘zbek, rus tili va sleng

Tayyor moderation API’lar ingliz tilida eng yaxshi ishlaydi. O‘zbek tilida, ayniqsa lotin, kirill va aralash yozuvda, shuningdek rus-o‘zbek aralash nutqida aniqlik odatda pastroq. Nima qilish kerak:

• O‘z test to‘plamingizni yig‘ing — platformangizdagi haqiqiy izohlardan: har bir toifa va til bo‘yicha bir necha yuz belgilangan misol.
• Tanlashdan oldin har bir vositani shu to‘plamda tekshiring. E’lon qilingan til qo‘llab-quvvatlashiga tayanmang.
• Tekshirishdan oldin matnni normallashtiring: registrni bir xil qiling, takroriy harflarni olib tashlang, belgilar almashinuvini hisobga oling (harf o‘rniga raqam, kirill o‘rniga lotin).
• LLM-klassifikator promptiga sleng lug‘atini qo‘shing: so‘z nimani anglatadi va qaysi kontekstda haqoratli.
• O‘zbek tilining ikkala alifbosini unutmang: bir xil so‘z kirill va lotinda kelishi mumkin.

LLM-klassifikator misoli

Natijani kod bilan qayta ishlash uchun modeldan qat’iy formatda javob berishini so‘rang:

{
  "category": "insult",
  "confidence": 0.82,
  "language": "uz-latn",
  "reason": "Boshqa foydalanuvchiga to‘g‘ridan-to‘g‘ri haqorat"
}

Promptga siyosat, misollar, toifalar ro‘yxati va faqat JSON qaytarish talabi kiradi. Modeldan kelgan confidence qiymati aniq ehtimol emas, balki taxminiy ko‘rsatkich, shuning uchun chegaralarni o‘z test to‘plamingiz bo‘yicha tanlang.

Chegaralar va qarorlar

Hammasini «o‘tkazish» va «o‘chirish»ga bo‘lmang. Uchta zona qulayroq:

Chegaralar toifaga qarab farq qiladi: tahdidlar va shaxsiy ma’lumotlarni ishonch past bo‘lsa ham tekshiruvga yuborgan ma’qul, yengil qo‘pollikni esa ko‘proq o‘tkazish mumkin. Chegaralarni haqiqiy ma’lumotlar bo‘yicha qayta ko‘rib chiqing: qancha noto‘g‘ri bloklash bo‘ldi va qanchasi o‘tib ketdi.

Apellyatsiyalar va inson tekshiruvi

• Bloklangan xabar muallifi sababni va «Shikoyat qilish» tugmasini ko‘rishi kerak.
• Apellyatsiyalar va o‘rta zona matn, toifa va model izohi bilan moderatorning yagona navbatiga tushadi.
• Moderator qarorlarini saqlang: ular prompt va testlar uchun yangi belgilangan misollarga aylanadi.
• Shikoyatlarni tahlil qilish va o‘zgarishlardan keyin model qattiqroq yoki yumshoqroq bo‘lib qolmaganini tekshirish uchun qarorlar jurnalini yuriting.

Ko‘p uchraydigan xatolar

• Siyosatsiz moderatsiya: har bir qaror tasodifiy ko‘rinadi.
• Faqat inglizcha misollarda tekshirish.
• Tushuntirishsiz va apellyatsiyasiz avtomatik bloklash.
• Zarurat bo‘lmasa ham LLM’ga to‘liq shaxsiy ma’lumotlarni yuborish.