LLMda tokenlar nima va nega narx hamda sifat ularga bog‘liq

Token nima

Token — til modeli ishlaydigan eng kichik matn birligi. Bu so‘z ham, harf ham emas, balki bo‘lak: qisqa so‘z butunligicha, uzun so‘zning bir qismi, tinish belgisi yoki so‘z boshi bilan birga kelgan bo‘sh joy.

Model matnni to‘g‘ridan-to‘g‘ri ko‘rmaydi. Avval tokenizator satrni sonlar ketma-ketligiga — model lug‘atidagi token identifikatorlariga aylantiradi. Model shu sonlarni o‘qiydi va javobni ham bittadan token qilib yaratadi.

Masalan, «Hello, world» iborasi uch-to‘rtta tokenga bo‘linishi mumkin: Hello, ,, world. Uzun yoki kam uchraydigan so‘z bir nechta bo‘lakka ajraladi.

Nega rus va o‘zbek tillari ingliz tilidan «qimmatroq»

Tokenizator lug‘atlari katta matn to‘plamlari asosida tuziladi va ularda ingliz tili eng ko‘p. Natijada:

• ko‘p ishlatiladigan inglizcha so‘zlar ko‘pincha bitta token bo‘ladi;
• qo‘shimcha va old qo‘shimchali ruscha so‘zlar bir nechta bo‘lakka bo‘linadi;
• o‘zbek matni, ayniqsa ‘ va ’ kabi belgilar bilan, ko‘pincha yanada maydaroq bo‘linadi, chunki o‘qitish ma’lumotlarida u kamroq.

Xulosa: bir xil fikr rus yoki o‘zbek tilida ingliz tilidagiga qaraganda sezilarli darajada ko‘proq token olishi mumkin. Qanchalik ko‘proq — aniq model va uning tokenizatoriga bog‘liq. Yangi modellar odatda ingliz tilidan boshqa tillar bilan yaxshiroq ishlaydi, lekin farq ko‘pincha saqlanib qoladi.

Tokenlar narxga qanday ta’sir qiladi

Ko‘pchilik modellar API’si tokenlar uchun hisob qiladi va alohida-alohida:

• kiruvchi tokenlar — promptingiz, tizim ko‘rsatmasi, suhbat tarixi, biriktirilgan hujjatlar;
• chiquvchi tokenlar — model yaratgan javob (odatda kiruvchidan qimmatroq).

Amalda bu quyidagini anglatadi:

• uzun tizim ko‘rsatmasi har bir so‘rovda to‘lanadi;
• chat tarixi har xabar bilan o‘sadi, shuning uchun har yangi javob avvalgisidan qimmatroq;
• «batafsil javob ber» degan iltimos hisobni bevosita oshiradi.

Tokenlar limitlar va sifatga qanday ta’sir qiladi

Har bir modelda kontekst oynasi bor — u bir vaqtda qayta ishlaydigan maksimal tokenlar soni (kirish va chiqish birga). Odatda javob uzunligi uchun ham alohida limit mavjud.

Yordamchi narsalarga qancha ko‘p token ketsa, foydali ma’lumot uchun shuncha kam joy qoladi:

• o‘zbek tilidagi uzun hujjat xuddi shu inglizcha hujjat sig‘adigan joyga sig‘masligi mumkin;
• javob limitga yetsa, u gap o‘rtasida uziladi;
• haddan tashqari yuklangan kontekst modelning tafsilotlarga e’tiborini susaytiradi.

Sifatni yo‘qotmasdan tokenlarni qanday tejash mumkin

1. Tizim promptini qisqartiring. Takrorlar va xushmuomala iboralarni olib tashlang, qoidalar va misollarni qoldiring.
2. Butun tarixni yubormang. Oxirgi xabarlarni saqlang, eskilarini qisqa xulosa bilan almashtiring.
3. Javob uzunligini cheklang — ham ko‘rsatmada, ham maksimal tokenlar parametri orqali.
4. Faqat keraklisini yuboring. Butun hujjat o‘rniga tegishli bo‘laklarni bering (buning uchun RAG ishlatiladi).
5. Prompt keshlashdan foydalaning, agar provayder uni qo‘llab-quvvatlasa: so‘rovning takrorlanadigan qismi arzonroq tushadi.
6. Modelni vazifaga moslang. Tasniflash yoki maydonlarni ajratib olish uchun ko‘pincha kichik va arzon model yetarli.

Tokenlarni oldindan qanday hisoblash mumkin

Yirik provayderlarda tokenizatorlar yoki tokenlarni hisoblash uchun endpointlar bor. OpenAI modellari uchun tiktoken kutubxonasidan foydalanish mumkin:

import tiktoken

enc = tiktoken.get_encoding("cl100k_base")
text = "Bu gapda nechta token bor?"
print(len(enc.encode(text)))

Har xil modellarda tokenizatorlar ham har xil, shuning uchun modelingizga mos vosita bilan hisoblang. Loyihani ishga tushirishdan oldin kerakli barcha tillardagi odatiy so‘rovlarni hisoblagichdan o‘tkazing — shunda byudjet o‘zingizning real ma’lumotlaringizga tayanadi.