Что такое мультимодальный ИИ: модели, которые видят и слышат
Основы3 минРедакция Innovialabs
Коротко
Мультимодальная модель принимает на вход не только текст, но и изображения или звук и рассуждает о них в одном контексте. Это позволяет одним запросом прочитать скриншот, график или фото документа.
Коротко: что значит «мультимодальный»
Модальность — это тип данных: текст, изображение, аудио, видео. Мультимодальная модель умеет работать с несколькими модальностями сразу. Вы отправляете фото счета и пишете «достань сумму и дату» — модель видит картинку и понимает текстовую просьбу в одном запросе.
Раньше для этого нужна была связка из нескольких систем: OCR для текста, отдельная модель для распознавания объектов, ASR для речи и правила, которые все это склеивают. Мультимодальная LLM закрывает многие из этих задач одной моделью.
Как это устроено внутри
Упрощенно схема такая:
- Энкодер для каждой модальности. Изображение режется на небольшие фрагменты (патчи), аудио — на короткие отрезки. Каждый фрагмент превращается в вектор чисел.
- Общее пространство. Эти векторы проецируются в тот же формат, в котором модель представляет текстовые токены.
- Языковая модель. Дальше LLM обрабатывает «токены картинки» и текстовые токены вместе и генерирует ответ.
Поэтому модель может не просто описать изображение, а рассуждать о нем: сравнить два графика, найти ошибку на скриншоте интерфейса, объяснить схему.
Практические задачи
| Задача | Что подаем | Что получаем |
|---|---|---|
| Чтение документов | Фото счета, накладной, паспорта формы | Поля в JSON: сумма, дата, ИНН, позиции |
| Скриншоты | Скриншот ошибки или интерфейса | Объяснение проблемы, шаги исправления |
| Графики и таблицы | Изображение диаграммы из отчета | Выводы, тренды, данные в табличном виде |
| Фото товаров | Снимок с витрины или склада | Описание, категория, проверка состояния |
| Голос | Аудиосообщение клиента | Расшифровка, суть обращения, тональность |
| Рукописные заметки | Фото доски после встречи | Структурированный список задач |
Пример: извлечение данных из фото документа
Запрос к модели может выглядеть так:
На изображении — накладная. Верни JSON с полями:
supplier, date (YYYY-MM-DD), total, items[{name, qty, price}].
Если поле не видно, поставь null. Не придумывай значения.
Ключевые моменты: четкая схема ответа, формат дат и явный запрет на догадки.
Где мультимодальность выигрывает, а где нет
Выигрывает:
- документы разных форматов, где жесткие шаблоны OCR ломаются;
- задачи, где нужно понимание контекста, а не только распознавание символов;
- быстрые прототипы: не нужно обучать отдельную модель.
Проигрывает или требует осторожности:
- потоковое видео в реальном времени — специализированные CV-модели быстрее;
- очень мелкий текст и плохое качество фото — модель может ошибиться в цифрах;
- большие объемы однотипных документов — стоимость запросов может оказаться выше классического пайплайна.
Как внедрять без сюрпризов
- Проверяйте цифры. Суммы и даты сверяйте с контрольными правилами: сумма позиций равна итогу, дата в допустимом диапазоне.
- Требуйте структурированный вывод (JSON) и валидируйте его кодом.
- Улучшайте вход: обрезка, поворот, достаточное разрешение заметно влияют на результат.
- Держите человека в контуре для спорных случаев с низкой уверенностью.
- Учитывайте данные: фото документов часто содержат персональную информацию, поэтому заранее решите, где и как они обрабатываются.