LLM yordamida sintetik ma’lumotlar: o‘qitish va test to‘plamlari

Sintetik ma’lumotlar qachon o‘rinli

Sintetik ma’lumotlar — real foydalanuvchilardan yig‘ilgan emas, model tomonidan yaratilgan misollar. Ular real ma’lumot kam bo‘lganda, belgilash qimmat bo‘lganda yoki ma’lumot juda maxfiy bo‘lganda foydali:

• klassifikatorlar: intentlar, murojaat toifalari, spam, ayniqsa kam uchraydigan sinflar;
• fine-tuning: sizning sohangiz, ohangingiz va formatingizdagi «ko‘rsatma — javob» juftliklari;
• eval to‘plamlari: ishga tushirishdan oldin RAG tizimi yoki chat-bot uchun test savollari;
• chegaraviy holatlar: imlo xatolari, rus va o‘zbek tillari aralashmasi, qo‘pol xabarlar, prompt injection urinishlari.

Ular real ma’lumotlarni almashtirmaydi. Sintetika generator-model foydalanuvchilaringiz haqida nima deb o‘ylashini aks ettiradi, bu esa har doim ham ular aslida yozadigan narsa emas. Real ma’lumotlardan asos yaratish, tekshirish va test qilish uchun, sintetikadan esa bo‘shliqlarni to‘ldirish uchun foydalaning.

Generatsiya pipeline’i

1. Maqsadni belgilang: vazifa, belgilar to‘plami, chiqish formati va yaxshi misol qanday ko‘rinishi.
2. Seed-misollarni yig‘ing: har bir sinf uchun anonimlashtirilgan real misollarning kichik to‘plami.
3. O‘zgaruvchanlik o‘qlarini belgilang: misollar qaysi o‘lchovlarda farq qilishi kerak.
4. Partiyalarda generatsiya qiling — seed-misollar va o‘qlarni birlashtiruvchi promptlar bilan.
5. Avtomatik saralang, so‘ng tanlanmani qo‘lda tekshiring.
6. Dublikatlarni olib tashlang va sinflarni muvozanatlang.
7. Samarani tekshiring: modelni o‘qiting yoki baholang va real ma’lumotlardagi bazaviy natija bilan solishtiring.

Xilma-xillikni qanday ta’minlash kerak

Sodda generatsiyaning asosiy muammosi — bir xillik: «mijozlarning 100 ta shikoyatini yoz» so‘rovi bitta shikoyatning 100 ta variantini beradi. Xilma-xillikni aniq qiling.

• Atributlarni tizimli o‘zgartiring: persona, til, uzunlik, ohang, kanal, mavzu, murakkablik. Kombinatsiyalarni tanlab, har bir promptga qo‘ying.
• Seed-misollarni partiyalar orasida almashtiring, toki model doim bir xillariga yopishib qolmasin.
• Umumiy matn emas, aniq ssenariy so‘rang: «doimiy mijoz, buyurtma shikastlangan holda keldi, telefondan qisqa yozmoqda».
• Imkon bo‘lsa, bir nechta generator-modeldan foydalaning: har birining o‘z uslubi bor.
• Xilma-xillikni o‘lchang: embedding klasterlari va n-gramm kesishmasiga qarang, har bir sinf bir nechta kichik mavzuni qamrashini tekshiring.

import random

axes = {
    "persona": ["student", "small shop owner", "retiree", "IT specialist"],
    "language": ["Russian", "Uzbek (Latin)", "mixed Russian and Uzbek"],
    "tone": ["polite", "irritated", "very brief"],
    "length": ["one sentence", "three to four sentences"],
}

def make_spec():
    return {k: random.choice(v) for k, v in axes.items()}

Sifatsiz misollarni saralash

Yaratilgan misollarning sezilarli qismi noto‘g‘ri, takroriy yoki mavzudan tashqari bo‘ladi. Qatlamma-qatlam saralang:

• Format tekshiruvi: to‘g‘ri JSON, majburiy maydonlar, uzunlik cheklovlari.
• Deduplikatsiya: embedding’lar bo‘yicha aniq va deyarli aniq dublikatlarni olib tashlash.
• Belgini tekshirish: alohida model yoki prompt misolni tasniflaydi; belgi mos kelmasa, misol olib tashlanadi.
• LLM-as-judge: realistiklik va to‘g‘rilikni rubrika bo‘yicha baholash; faqat chegaradan yuqorisini qoldiring.
• Qo‘lda tekshirish: har bir sinfdan tasodifiy tanlanmani o‘qing. Rad etilganlar ko‘p bo‘lsa, filtrni qattiqlashtirmang, promptni tuzating.

Model kollapsidan qanday saqlanish kerak

Model collapse modellar o‘z chiqishlarida qayta-qayta o‘qitilganda yuz beradi: kam uchraydigan holatlar yo‘qoladi, javoblar rangsiz va bir xil bo‘lib qoladi. Bunga yo‘l qo‘ymaslik uchun:

• o‘qitish aralashmasida doimo real ma’lumotlarni saqlang;
• avvalgi sintetikada o‘qitilgan model bilan avloddan avlodga ma’lumot yaratmang;
• xilma-xillik torayishini kuzating: javoblar qisqaradi, turli iboralar kamayadi, kam uchraydigan sinflar yo‘qoladi;
• har bir misolning kelib chiqishini provenance maydoni bilan belgilang.

Ma’lumotlar sizib chiqishidan qanday saqlanish kerak

Sizib chiqish natijalarni aslidagidan yaxshiroq ko‘rsatadi.

• Train va eval generatsiyasini ajrating: turli seed-misollar, promptlar va iloji bo‘lsa turli generator-modellar. Split’lar orasidagi dublikatlarni olib tashlang.
• Real ma’lumotlardan iborat test to‘plamini saqlang — undan birorta ham sintetik misol yaratilmagan bo‘lsin. Yakuniy qarorlarni shunga qarab qabul qiling.
• Shaxsga doir ma’lumotlar sizib chiqishiga yo‘l qo‘ymang: seed-misollarni anonimlashtiring va chiqishda real ismlar, telefonlar yoki hujjatlar takrorlanmasligini tekshiring.
• Generator-model litsenziya shartlarini tekshiring: ba’zi provayderlar chiqishlardan raqobatchi modellarni o‘qitish uchun foydalanishni cheklaydi.