Обучение и инференс ИИ: в чём разница и как это влияет на цену
Основы4 минРедакция Innovialabs
Коротко
Обучение — разовый дорогой процесс, в котором модель учится; инференс — каждое использование готовой модели. Почти никто не обучает модели с нуля, поэтому бизнес платит в основном за инференс — за запросы или за часы работы сервера.
Разница в одном абзаце
Обучение (training) — это то, как модель учится: ей показывают огромные объёмы данных и снова и снова подстраивают внутренние параметры, пока она не начнёт хорошо предсказывать. Инференс (inference) — использование готовой модели: вы отправляете вопрос, фото или документ и получаете ответ. Обучение происходит редко и стоит дорого сразу. Инференс происходит при каждом обращении к модели, и его стоимость растёт вместе с использованием.
Простая аналогия: обучение — годы учёбы специалиста в университете, инференс — каждая консультация, которую он даёт потом.
За что на самом деле платит бизнес
Чтобы создать крупную модель с нуля, нужны гигантские датасеты, большие кластеры GPU и узкоспециализированная команда. Почти никто, кроме крупнейших лабораторий, этого не делает. Реальные сценарии для бизнеса — три уровня:
| Уровень | Что происходит | Основная статья затрат |
|---|---|---|
| Готовая модель через API | Запросы к OpenAI, Anthropic, Google и другим | Инференс, оплата за токены |
| Дообучение готовой модели | Подстройка модели на ваших примерах | Небольшое разовое обучение плюс инференс |
| Своя открытая модель | Llama, Gemma, Mistral и др. на ваших серверах | Железо или аренда GPU под инференс |
Итого для подавляющего большинства счёт — это в основном инференс. Дообучение по сравнению с обучением с нуля — скромная и нечастая статья расходов.
Как разница влияет на стоимость
Стоимость обучения определяют:
- объём и качество данных, включая подготовку и разметку;
- размер модели;
- количество прогонов и экспериментов;
- люди, которые проектируют, запускают и оценивают процесс.
Стоимость инференса определяют:
- количество запросов — главный множитель;
- длина запроса и ответа — длинные промпты, большие документы в контексте и многословные ответы расходуют больше токенов;
- размер модели — крупной модели нужно больше вычислений на каждый ответ;
- требования к скорости — мгновенный ответ может потребовать зарезервированных мощностей вместо более дешёвой пакетной обработки;
- характер нагрузки — ровный поток обслуживать эффективнее, чем резкие пики.
Железо: разные потребности
Обучению нужны множество мощных GPU, работающих вместе днями и неделями, быстрые соединения между ними и много памяти. Инференс работает на гораздо более скромном оборудовании: одна GPU, процессор для малых моделей или даже телефон. Специализированные чипы для инференса и квантование (хранение весов с меньшей точностью) удешевляют его ещё сильнее.
Поэтому бизнес может позволить себе запустить небольшую открытую модель на своём сервере, но не обучить большую модель с нуля.
Задержка — забота только инференса
Скорость обучения влияет на то, когда модель будет готова, — пользователь её не видит. Задержку инференса он ощущает напрямую: сколько отвечает чат-бот, как быстро обрабатывается документ. Она зависит от размера модели, длины ответа, загрузки сервера и сетевого расстояния. Потоковый вывод (ответ появляется по словам) делает ожидание субъективно короче, хотя общее время то же.
Как держать расходы на инференс под контролем
- Выберите самую маленькую модель, которая проходит ваш порог качества. Проверяйте на своих примерах.
- Сокращайте промпты. Уберите повторяющиеся инструкции и лишний контекст.
- Ограничивайте длину ответа, где длинный текст не добавляет пользы.
- Кэшируйте ответы на частые одинаковые вопросы и используйте кэширование промптов у провайдера, если оно есть.
- Используйте пакетную обработку для задач без срочности, например ночной разбор документов.
- Маршрутизируйте запросы: простые — дешёвой модели, сложные — сильной.
- Следите за расходом по каждой функции, чтобы понимать, что на самом деле формирует счёт.
Частые ошибки
- Считать, что нужно обучать свою модель. Часто задачу решает промптинг плюс поиск по вашим документам (RAG) без всякого обучения.
- Оценивать бюджет по демо. Прототип на десять пользователей мало говорит о расходах при реальном трафике и длинных документах.
- Игнорировать размер контекста. Если в каждый запрос загружать всю базу знаний, расход токенов многократно растёт.
- Забывать о людях при собственном хостинге: настройка, обновления и дежурства — тоже часть стоимости инференса.