Что такое дообучение (fine-tuning) LLM и когда оно оправдано
Основы3 минРедакция Innovialabs
Коротко
Fine-tuning — это дообучение готовой языковой модели на ваших примерах, чтобы она стабильно отвечала в нужном формате и стиле; для новых знаний обычно лучше подходит RAG, а начинать стоит с промптов.
Короткий ответ
Fine-tuning (дообучение) — это дополнительное обучение уже готовой языковой модели на вашем наборе примеров «вход — правильный выход». После этого модель стабильнее делает то, что вы ей показали: держит формат, тон, классифицирует по вашим правилам.
Главное, что стоит запомнить: дообучение хорошо меняет поведение модели и плохо добавляет знания. Если нужно, чтобы бот знал ваш прайс или регламенты, обычно правильнее RAG.
Что именно меняется в модели
Во время обучения корректируются веса модели — внутренние параметры, от которых зависит ответ. Часто меняют не все веса, а небольшую добавку к ним (методы вроде LoRA), это дешевле и быстрее.
Что дообучение дает:
- Стабильный формат: строгий JSON, фиксированная структура ответа.
- Стиль и тон: голос бренда, лаконичность, нужная терминология.
- Узкая задача: классификация обращений, извлечение полей, разметка по вашим правилам.
- Короче промпт: инструкции «зашиты» в модель, их не нужно передавать каждый раз.
Чего дообучение не дает надежно: актуальных фактов, данных, которые часто меняются, и ссылок на источники.
Промпт, RAG или fine-tuning
| Промпт | RAG | Fine-tuning | |
|---|---|---|---|
| Что меняет | Инструкции в запросе | Добавляет найденные документы в запрос | Веса модели |
| Новые знания | Нет | Да, и легко обновлять | Плохо |
| Формат и стиль | Хорошо, но не всегда стабильно | Не влияет | Стабильно |
| Скорость запуска | Быстро | Средне | Дольше всего |
| Что нужно | Хорошо написанные инструкции | База документов и поиск | Качественный набор примеров |
Разумный порядок почти всегда такой: сначала промпт, затем RAG для знаний, и только если этого мало — fine-tuning. Эти подходы можно сочетать.
Когда дообучение оправдано
- Промпт с примерами уже не помогает: модель регулярно ломает формат или стиль.
- Задача узкая и повторяющаяся, с большим потоком запросов.
- Хочется перейти на меньшую модель, которая после дообучения справится с задачей не хуже большой, но быстрее и дешевле в работе.
- Есть сотни или тысячи качественных примеров правильных ответов.
Какие нужны данные
- Пары «вход — эталонный ответ» в формате, который требует платформа обучения.
- Качество важнее количества. Ошибки и противоречия в примерах модель тоже выучит.
- Разнообразие: примеры должны покрывать реальные случаи, включая сложные.
- Отдельный тестовый набор, на котором модель не обучалась, чтобы честно сравнить результат «до» и «после».
- Без персональных данных, если на это нет оснований.
От чего зависит стоимость
Конкретную сумму назвать нельзя, она складывается из факторов:
- размер базовой модели и метод (полное дообучение или LoRA);
- объем данных и число эпох обучения;
- подготовка датасета — часто самая трудоемкая часть, потому что ее делают люди;
- инфраструктура: облачный сервис провайдера или свои GPU;
- стоимость работы модели после обучения и ее поддержка: при выходе новой базовой модели обучение, возможно, придется повторить.
Частые ошибки
- Дообучать, чтобы модель «запомнила» документы компании. Для этого есть RAG.
- Начинать без измерений: нет метрики — непонятно, был ли смысл.
- Собирать датасет из случайных диалогов без проверки.
- Забывать, что модель может хуже справляться с задачами, которые не попали в обучение.