Что такое малая языковая модель (SLM) и когда она лучше LLM
Основы4 минРедакция Innovialabs
Коротко
Малая языковая модель — компактная модель на несколько миллиардов параметров, которая работает на скромном железе; она выигрывает у большой LLM в узких повторяющихся задачах, где важнее цена, скорость, приватность или работа на своих серверах.
Что такое SLM, коротко
Малая языковая модель (SLM, small language model) устроена так же, как ChatGPT или Claude, — это трансформер, — но параметров у неё намного меньше: обычно от сотен миллионов до нескольких миллиардов, иногда до пары десятков миллиардов. Известные семейства — Microsoft Phi, Google Gemma, малые версии Meta Llama, компактные модели Mistral и Qwen.
Меньше параметров — значит, модель помещается на одну потребительскую видеокарту, ноутбук, телефон или обычный сервер. Цена за это: она меньше знает о мире и хуже справляется со сложными открытыми вопросами.
Главное: SLM — не «урезанный ChatGPT», а инструмент-специалист. На узкой чётко поставленной задаче, особенно после дообучения, она может работать на уровне большой модели за малую долю стоимости и задержки.
Чем SLM отличается от крупной LLM
| Малая модель | Крупная LLM | |
|---|---|---|
| Размер | До нескольких миллиардов параметров | Очень большой, часто не раскрывается |
| Где работает | Ноутбук, телефон, одна GPU, свой сервер | Облако провайдера через API |
| Широта знаний | Ограничена | Очень широкая |
| Сложные рассуждения | Слабые или средние | Сильные |
| Задержка | Низкая, предсказуемая | Зависит от сети и нагрузки |
| Данные уходят наружу | Нет, если модель своя | Да, к провайдеру |
| Модель затрат | Своё железо и поддержка | Оплата за токены |
| Настройка | Легко дообучить | В основном промптинг |
Где SLM выигрывает
Стоимость на объёме. Если вы обрабатываете тысячи однотипных запросов в день — классифицируете обращения, размечаете товары, вытаскиваете поля, — плата за токены быстро растёт. Своя SLM превращает её в фиксированные расходы на инфраструктуру.
Скорость ответа. Автодополнение, подсказки в интерфейсе в реальном времени, голосовые ассистенты и функции на устройстве требуют ответа за доли секунды. Локальная модель не ждёт сети и очереди.
Приватность и требования регуляторов. Медицинские карты, банковские данные, внутренние документы и персональные данные, которые нельзя выносить за пределы страны или компании, можно обрабатывать моделью на своих серверах.
On-premise и офлайн. На заводах, складах, полевых устройствах и в закрытых корпоративных сетях часто нет стабильного интернета или запрещены внешние API. SLM работает полностью автономно.
Узкие повторяющиеся задачи, например:
- определение намерения и маршрутизация в чат-боте;
- классификация по тональности и категориям;
- извлечение имён, дат и сумм из текста;
- короткие выжимки типовых документов;
- переписывание текста по жёсткому шаблону;
- первичная фильтрация перед большой моделью.
Где LLM всё ещё лучше
- Открытые вопросы на любую тему.
- Многошаговые рассуждения, планирование, сложный анализ.
- Длинные качественные тексты в разных стилях.
- Задачи, где невозможно предсказать, что спросит пользователь.
- Прототипы, когда данных для дообучения ещё нет.
Частая рабочая схема — гибридная: SLM обрабатывает основной поток простых запросов, а сложные или сомнительные случаи передаются большой модели.
Как выбрать
- Сформулируйте задачу узко. «Отвечать клиентам» — слишком широко. «Относить входящее сообщение к одной из 12 категорий» — задача для SLM.
- Начните с большой модели, чтобы получить эталон качества и собрать реальные примеры.
- Проверьте одну-две SLM на тех же примерах. Меряйте точность на своих данных, а не на публичных бенчмарках.
- Дообучите при необходимости. Нескольких сотен или тысяч хороших примеров часто хватает, чтобы заметно сократить разрыв на узкой задаче.
- Посчитайте полную стоимость: железо или аренда GPU, сопровождение, мониторинг и обновления против оплаты API на вашем объёме.
- Сверьтесь с требованиями: где можно хранить данные, нужен ли офлайн, какое допустимо время ответа.
Частые ошибки
- Ждать от малой модели универсального интеллекта и оценивать её на задачах, для которых она не предназначена.
- Забыть про эксплуатацию: своя модель требует обновлений, мониторинга и ответственного человека.
- Выбирать только по бенчмаркам. Публичные рейтинги редко отражают вашу предметную область, язык и типы документов.
- Не проверить язык. Тестируйте качество на русском, узбекском и других языках, с которыми реально работаете: у малых моделей здесь большой разброс.