Что такое большая языковая модель (LLM) и как она работает
Основы3 минРедакция Innovialabs
Коротко
LLM — нейросеть, обученная на огромном объёме текстов предсказывать следующий фрагмент текста; из этого навыка вырастают ответы, пересказ и генерация, но модель может уверенно ошибаться и не знает ваших свежих данных.
Коротко: что такое LLM
Большая языковая модель (Large Language Model, LLM) — это нейросеть, которая обучена на огромном количестве текстов и умеет продолжать текст. Получив ваш вопрос, она по одному фрагменту генерирует наиболее подходящее продолжение — так и появляется ответ.
ChatGPT, Claude, Gemini, Llama — всё это LLM или продукты на их основе. «Большая» означает огромное число параметров (внутренних настраиваемых чисел) и объём обучающих данных.
Что такое токен
Модель работает не со словами, а с токенами — кусочками текста. Токен может быть целым словом, его частью или знаком препинания. Например, слово «программирование» может разбиться на несколько токенов.
От токенов зависят две практические вещи:
- стоимость — API обычно тарифицируют по количеству токенов на входе и выходе;
- контекстное окно — сколько токенов модель может учесть за раз (ваш запрос, документы и её собственный ответ).
Как LLM обучается
Обучение идёт в несколько этапов.
- Предобучение. Модели показывают огромный корпус текстов и учат угадывать следующий токен. Ошибся — внутренние веса немного подправляются. Повторённое бесчисленное число раз, это заставляет модель усвоить грамматику, факты, стиль и логические связи.
- Дообучение на инструкциях. На примерах «вопрос — хороший ответ» модель учат следовать запросам, а не просто продолжать текст.
- Обучение на обратной связи. Люди или другие модели оценивают ответы, и модель смещают в сторону полезных, безопасных и точных.
В основе современных LLM лежит архитектура Transformer с механизмом внимания (attention): при генерации каждого токена модель «взвешивает», какие части контекста важнее всего.
Почему простое предсказание даёт такие умения
Чтобы хорошо угадывать продолжение любых текстов, модели приходится улавливать смысл. Поэтому одна и та же способность превращается в разные задачи:
| Задача | Как это выглядит для модели |
|---|---|
| Ответ на вопрос | Продолжить текст «вопрос» наиболее вероятным ответом |
| Пересказ | Продолжить длинный текст его кратким изложением |
| Перевод | Продолжить текст тем же смыслом на другом языке |
| Написание кода | Продолжить описание задачи кодом |
| Классификация | Продолжить обращение клиента нужной категорией |
Ключевые ограничения
Понимать их важно до того, как встраивать LLM в бизнес-процессы.
- Галлюцинации. Модель генерирует правдоподобный текст, а не проверяет факты. Она может уверенно выдумать цифру, ссылку или название.
- Отсечка знаний. Модель знает мир только на дату окончания обучения и не знает ваших внутренних данных, если вы их не передали.
- Ограниченный контекст. Всё, что не поместилось в окно, модель не видит.
- Недетерминированность. На один и тот же запрос ответы могут немного различаться.
- Слабость в точных вычислениях. Арифметику и строгую логику надёжнее отдавать коду или внешним инструментам.
- Конфиденциальность. Важно понимать, куда уходят данные, которые вы отправляете в облачную модель.
Как эти ограничения обходят на практике
- RAG (Retrieval-Augmented Generation) — перед ответом система находит нужные документы компании и передаёт их модели вместе с вопросом.
- Инструменты (tool use) — модель вызывает калькулятор, поиск, базу данных или API вместо того, чтобы угадывать.
- Чёткие промпты — роль, формат ответа, примеры и запрет придумывать то, чего нет в источниках.
- Проверка человеком там, где цена ошибки высока: юридические, медицинские, финансовые тексты.