LLM da temperature va top-p: generatsiya parametrlarini sozlash

Qisqacha: bu parametrlar nima qiladi

LLM matnni bittadan token (so‘z yoki uning qismi) bilan yaratadi. Har bir qadamda model barcha mumkin bo‘lgan keyingi tokenlar uchun ehtimollikni hisoblaydi va ulardan birini tanlaydi. Temperature va top-p aynan shu tanlovni boshqaradi.

• Temperature — tanlov qanchalik «dadil» bo‘lishi. Past qiymat: deyarli har doim eng ehtimolli token olinadi. Yuqori qiymat: kamroq ehtimolli variantlarning imkoniyati oshadi.
• Top-p (nucleus sampling) — qaysi doiradan tanlash. Model tokenlarni ehtimollik bo‘yicha saralaydi va ularning umumiy ehtimolligi p ga yetguncha faqat eng ehtimollilarini qoldiradi. Qolganlari tashlab yuboriladi.

Amalda qanday ko‘rinadi

Aytaylik, model «Do‘konimiz ishlaydi…» jumlasini davom ettirmoqda va baholari quyidagicha:

• Temperature 0 ga yaqin: deyarli har doim «har kuni». Javoblar barqaror va oldindan aytib bo‘ladigan.
• Yuqoriroq temperature: taqsimot «tekislanadi», «kecha-kunduz» yoki hatto «suv ostida» tez-tez paydo bo‘ladi. Matn xilma-xilroq, lekin g‘alati javoblar xavfi ortadi.
• Top-p = 0.9: model «har kuni», «soat», «dam olish kunlarisiz» (jami 0.90) ni oladi va faqat ular orasidan tanlaydi. Kam uchraydigan g‘alati variantlar kesiladi, xilma-xillik esa saqlanadi.

Bitta so‘rov turli sozlamalar bilan

So‘rov: «Qahvaxona uchun nom o‘ylab top».

• Past temperature: bir necha marta ishga tushirish bir xil yoki juda o‘xshash nomlarni beradi.
• O‘rtacha: variantlar farq qiladi, lekin o‘rinli bo‘lib qoladi.
• Yuqori: kutilmagan va ba’zan ma’nosiz so‘z birikmalari paydo bo‘ladi.

Vazifalar bo‘yicha tavsiya etilgan sozlamalar

Aniq diapazonlar model va provayderga bog‘liq, shuning uchun boshqalarning misollaridagi raqamlarga emas, mantiqqa tayaning.

Parametrlar bilan API chaqiruvi misoli:

response = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Matndan sana va summani ajratib ber..."}],
    temperature=0,
)

Keng tarqalgan xatolar

• Ikkala parametrni birdaniga o‘zgartirish. Ko‘plab provayderlar hujjatlari temperature yoki top-p dan birini sozlashni maslahat beradi. Shunda natijaga nima ta’sir qilgani aniq bo‘ladi.
• Temperature 0 da to‘liq determinizm kutish. Javoblar ancha barqarorlashadi, lekin har safar aynan bir xil natija kafolatlanmaydi.
• Gallyutsinatsiyalarni temperature bilan davolash. Past temperature tasodifiylikni kamaytiradi, ammo bilim qo‘shmaydi. To‘qib chiqarilgan faktlarga qarshi RAG, aniq ko‘rsatmalar va javobni tekshirish yordam beradi.
• Qo‘llab-quvvatlashda «jonlilik» uchun temperature ni oshirish. Ohangni tasodifiylik bilan emas, prompt bilan bering.
• Parametrlar qo‘llab-quvvatlanishini tekshirmaslik. Ba’zi modellar, ayniqsa fikrlash rejimidagilar, bu sozlamalarni e’tiborsiz qoldiradi yoki cheklaydi. Aniq model hujjatlarini ko‘ring.

Qiymatlarni qanday tanlash

1. Standart qiymatlardan yoki aniq vazifalar uchun past temperature dan boshlang.
2. 20–30 ta odatiy so‘rov to‘plang.
3. Ularni bitta parametrning turli qiymatlari bilan bir necha marta ishga tushiring.
4. Faqat sifatni emas, barqarorlikni ham baholang: javoblar ishga tushirishlar orasida qanchalik farq qiladi.
5. Tanlangan qiymatlarni kodda mustahkamlang va modelni almashtirganda qayta ko‘rib chiqing.