Стоимость LLM API: как посчитать и снизить расходы на ИИ

Из чего складывается цена

Почти все провайдеры LLM берут оплату за токены — кусочки текста, на которые модель разбивает ввод и вывод. Важно помнить три вещи:

• Входные и выходные токены стоят по-разному, выходные обычно дороже.
• Во вход входит всё: системный промпт, история диалога, документы из RAG, описание инструментов.
• Разные модели одного провайдера различаются в цене в разы, поэтому выбор модели — главный рычаг.

Количество токенов на слово зависит от языка и токенизатора: тексты на русском и узбекском обычно требуют больше токенов, чем тот же смысл на английском. Проверяйте на своих данных — у провайдеров есть счётчики токенов.

Как оценить месячный бюджет

Базовая формула:

Стоимость в месяц =
  запросов в месяц × (входных токенов × цена входа
                      + выходных токенов × цена выхода)

Порядок действий:

1. Возьмите 20-50 реальных запросов вашего сценария и посчитайте средние входные и выходные токены. Ответ API обычно возвращает эти числа.
2. Оцените трафик: пользователи × запросов на пользователя в день × дни.
3. Учтите скрытые вызовы: агенты и цепочки делают несколько обращений к модели на одно действие пользователя, а повторные попытки при ошибках тоже стоят денег.
4. Добавьте запас на рост и пиковые нагрузки и сравните 2-3 модели по одной таблице.

Цены меняются, поэтому берите их с официальных страниц провайдеров на момент расчёта.

Как снизить расходы

Маршрутизация между моделями

Не каждому запросу нужна самая сильная модель. Классификацию, извлечение полей, короткие ответы часто тянет дешёвая модель, а сложные рассуждения — дорогая. Простой роутер по типу задачи или каскад «сначала дешёвая, при низкой уверенности — сильная» заметно снижает счёт.

Кэширование

• Кэш ответов: одинаковые вопросы (FAQ, справочные данные) можно отдавать из своего кэша без вызова модели.
• Prompt caching у провайдера: если начало промпта (инструкции, документы) повторяется, многие API берут за кэшированную часть меньше. Держите неизменную часть в начале, а переменную — в конце.

Короткие промпты и ответы

• Уберите из системного промпта повторы и устаревшие правила.
• Передавайте в RAG только релевантные фрагменты, а не документы целиком.
• Обрезайте или сжимайте историю длинных диалогов.
• Ограничьте длину ответа и просите формат без лишних вступлений.

Пакетная обработка

Для задач, которые не требуют мгновенного ответа (разметка, переводы, отчёты за ночь), у многих провайдеров есть batch API со скидкой в обмен на отложенную обработку.

Частые ошибки

• Считать бюджет по одному «идеальному» запросу, а не по реальной выборке.
• Забывать про токены истории диалога, которые растут с каждым сообщением.
• Сразу выбирать самую мощную модель «на всякий случай».
• Не ставить лимиты и алерты на расходы — один зациклившийся агент может съесть месячный бюджет.