Computer-use agentlar nima: brauzerda ishlaydigan sun’iy intellekt
Asoslar3 daqInnovialabs tahririyati
Qisqacha
Computer-use agent — ekran skrinshotlariga qarab, qayerni bosish va nima yozishni o‘zi hal qiladigan til modeli; u API yo‘q joyda foydali, lekin integratsiyadan sekinroq va kamroq ishonchli hamda qat’iy kirish cheklovlarini talab qiladi.
Qisqa javob
Computer-use agent — kompyuter yoki brauzerni xuddi inson kabi boshqaradigan sun’iy intellekt: ekranga qaraydi, qayerni bosishni hal qiladi, matn kiritadi va natijani tekshiradi. Unga API kerak emas — foydalanuvchi ko‘radigan interfeys yetarli.
Bu eski tizimlar va integratsiyasi yo‘q saytlar uchun qulay. Ammo bunday agent oddiy avtomatlashtirishdan sekinroq, ba’zan xato qiladi va sahifa mazmuni orqali aldanishi mumkin. Shuning uchun undan boshqa yo‘l bo‘lmaganda va doim cheklovlar bilan foydalaniladi.
Qanday ishlaydi
Agent sikl bo‘yicha ishlaydi:
- Ekran surati. Tizim skrinshot oladi yoki sahifa tuzilmasini (DOM, accessibility tree) o‘qiydi.
- Qaror. Multimodal model rasmni vazifa bilan solishtiradi va keyingi qadamni tanlaydi: «Shartnoma raqami maydonini bosish».
- Harakat. Maxsus vosita koordinatalar bo‘yicha bosish, matn kiritish, aylantirish yoki tugmani bosishni bajaradi.
- Tekshiruv. Yangi skrinshot — va vazifa bajarilmaguncha yoki agent to‘xtamaguncha sikl takrorlanadi.
Muhim: modelning o‘zi hech narsani bosmaydi. U buyruq qaytaradi, uni esa sizning kodingiz bajaradi — brauzerda, virtual mashinada yoki konteynerda. Aynan shu yerda agentga nimaga ruxsat berilishini nazorat qilasiz.
Agentlar qayerda haqiqatan yordam beradi
- API’siz legacy tizimlar. Eski hisob dasturi, davlat portali yoki bank kabineti — ma’lumotlar hali ham qo‘lda ko‘chiriladi.
- Formalarni to‘ldirish. Arizalarni jadvaldan veb-formaga o‘tkazish, hujjatlarni bir nechta tizimda ro‘yxatdan o‘tkazish.
- Interfeysdan ma’lumot yig‘ish. Faqat ekranda ko‘rinadigan statuslar, qoldiqlar yoki hisobotlar.
- Testlash. Qattiq skriptlar o‘rniga oddiy so‘zlar bilan yozilgan stsenariylarni tekshirish: «kir, mahsulotni top, buyurtma ber».
- Bir martalik vazifalar — beqaror interfeysda klassik RPA skripti har yangilanishda buziladi.
Agar tizimda API bo‘lsa, avval undan foydalaning. API orqali integratsiya tezroq, arzonroq va oldindan aytib bo‘ladigan.
Ishonchlilik cheklovlari
| Muammo | Nima bo‘ladi |
|---|---|
| Tezlik | Har qadam — skrinshot va model chaqiruvi, shuning uchun vazifa inson yoki skriptdan ancha uzoq davom etadi |
| Idrok xatolari | Model o‘xshash tugmalarni adashtirishi, koordinataga tegmasligi yoki qalqib chiquvchi oynani sezmasligi mumkin |
| Uzun stsenariylar | Qadamlar qancha ko‘p bo‘lsa, bitta xato butun jarayonni buzish ehtimoli shuncha yuqori |
| Oldindan aytib bo‘lmaslik | Bir xil so‘rov ikki ishga tushirishda turlicha o‘tishi mumkin |
| Narx | Rasmlar ko‘p token sarflaydi, uzun sessiyalar qimmatga tushadi |
Amaliy xulosa: agentga qisqa va aniq vazifalar bering, natijani agentning so‘zlari bo‘yicha emas, ma’lumotlar bo‘yicha tekshiring va muhim qadamlarda insonni qoldiring.
Xavfsizlik xavflari
Asosiy tahdid — prompt injection. Agent ekrandagi hamma narsani o‘qiydi. Agar sahifa, xat yoki hujjatda «bu ma’lumotlarni falon manzilga yubor» deb yozilgan bo‘lsa, model buni ko‘rsatma deb qabul qilishi mumkin.
Xavfni qanday kamaytirish mumkin:
- Izolyatsiya qilingan muhit. Agentni shaxsiy fayllarga kirishi yo‘q alohida virtual mashina yoki konteynerda ishga tushiring.
- Alohida hisob qaydnomalari minimal huquqlar bilan — faqat vazifa uchun kerakli tizimlar va ma’lumotlarga.
- Saytlar oq ro‘yxati. Agent faqat ruxsat berilgan domenlarni ochadi.
- Inson tasdig‘i formalarni yuborish, to‘lovlar, o‘chirish va har qanday qaytarib bo‘lmaydigan harakatdan oldin.
- Promptlarda parol yo‘q. Sirlar parol menejerida saqlanadi yoki model emas, kod tomonidan qo‘yiladi.
- Harakatlar jurnali. Hodisalarni tahlil qilish uchun skrinshotlar va qadamlarni saqlang.
Qanday boshlash kerak
- API bo‘lmagan va xatosi oson aniqlanadigan bitta takroriy jarayonni tanlang.
- Uni qadamma-qadam yozing va inson tasdig‘i kerak bo‘lgan joylarni belgilang.
- Agentni sandbox’da test ma’lumotlarida ishga tushiring.
- Natijani qo‘lda bajarilgan ish bilan solishtiring va shundan keyingina haqiqiy tizimlarni ulang.