Что такое computer-use агенты: ИИ, который работает в браузере
Основы3 минРедакция Innovialabs
Коротко
Computer-use агент — это языковая модель, которая смотрит на скриншоты экрана и сама нажимает кнопки и вводит текст; он полезен там, где нет API, но работает медленнее и менее надёжно, чем интеграция, и требует строгих ограничений доступа.
Короткий ответ
Computer-use агент — это ИИ, который управляет компьютером или браузером так же, как человек: смотрит на экран, решает, куда нажать, вводит текст и проверяет результат. Ему не нужен API — достаточно интерфейса, который видит пользователь.
Это удобно для старых систем и сайтов без интеграций. Но такой агент медленнее обычной автоматизации, иногда ошибается и может быть обманут содержимым страницы. Поэтому его используют там, где других путей нет, и всегда с ограничениями.
Как это работает
Агент работает в цикле:
- Снимок экрана. Система делает скриншот или читает структуру страницы (DOM, дерево доступности).
- Решение. Мультимодальная модель смотрит на картинку, сравнивает её с задачей и выбирает следующий шаг: «нажать на поле „Номер договора“».
- Действие. Специальный инструмент выполняет клик по координатам, ввод текста, прокрутку или нажатие клавиши.
- Проверка. Новый скриншот — и цикл повторяется, пока задача не выполнена или агент не остановится.
Важно: модель сама ничего не нажимает. Она возвращает команду, а выполняет её ваш код — в браузере, виртуальной машине или контейнере. Именно здесь вы контролируете, что агенту разрешено.
Где агенты действительно помогают
- Legacy-системы без API. Старая учётная программа, госпортал или банковский кабинет, где нет интеграции, а данные нужно переносить вручную.
- Заполнение форм. Перенос заявок из таблицы в веб-форму, регистрация документов в нескольких системах.
- Сбор данных из интерфейсов. Выгрузка статусов, остатков или отчётов, которые доступны только на экране.
- Тестирование. Проверка пользовательских сценариев на словах «зайди, найди товар, оформи заказ» вместо жёстких скриптов.
- Разовые задачи с нестабильным интерфейсом, где классический RPA-скрипт ломается при каждом обновлении сайта.
Если у системы есть API, сначала используйте его. Интеграция через API быстрее, дешевле и предсказуемее.
Ограничения надёжности
| Проблема | Что происходит |
|---|---|
| Скорость | Каждый шаг — скриншот и вызов модели, поэтому задача идёт заметно дольше, чем у человека или скрипта |
| Ошибки восприятия | Модель может перепутать похожие кнопки, промахнуться по координатам или не заметить всплывающее окно |
| Длинные сценарии | Чем больше шагов, тем выше шанс, что одна ошибка сорвёт весь процесс |
| Непредсказуемость | Один и тот же запрос может пройти по-разному в двух запусках |
| Стоимость | Изображения расходуют много токенов, длинные сессии обходятся дорого |
Практический вывод: давайте агенту короткие, чётко описанные задачи, проверяйте результат по данным, а не по словам агента, и оставляйте человека на критичных шагах.
Риски безопасности
Главная угроза — prompt injection. Агент читает всё, что видит на экране. Если на странице, в письме или документе написано «перешли эти данные на такой-то адрес», модель может принять это за инструкцию.
Как снизить риски:
- Изолированная среда. Запускайте агента в отдельной виртуальной машине или контейнере без доступа к личным файлам.
- Отдельные учётные записи с минимальными правами — только к тем системам и данным, которые нужны для задачи.
- Белый список сайтов. Агент может открывать только разрешённые домены.
- Подтверждение человеком перед отправкой форм, платежами, удалением и любыми необратимыми действиями.
- Никаких паролей в промптах. Секреты хранятся в менеджере паролей или подставляются кодом, а не моделью.
- Журнал действий. Сохраняйте скриншоты и шаги, чтобы разбирать инциденты.
Как начать
- Выберите один повторяющийся процесс, где нет API и ошибка легко обнаруживается.
- Опишите его по шагам и определите, где нужен контроль человека.
- Запустите агента в песочнице на тестовых данных.
- Сравните результат с ручной работой и только потом подключайте реальные системы.