Как запустить LLM локально с помощью Ollama

Коротко: что такое Ollama и зачем она

Ollama — бесплатный инструмент, который скачивает открытые языковые модели и запускает их на вашем компьютере или сервере. Данные не уходят в облако, нет оплаты за токены, а работать можно даже без интернета после загрузки модели.

Типичные задачи для локальной LLM:

• обработка конфиденциальных документов внутри компании;
• прототипы и эксперименты без расходов на API;
• простые задачи: классификация, извлечение полей, черновики текстов;
• работа в закрытом контуре без доступа наружу.

Шаг 1. Установка

• macOS и Windows — скачайте установщик с официального сайта и запустите его.
• Linux — выполните официальный скрипт:

curl -fsSL https://ollama.com/install.sh | sh

После установки Ollama работает как фоновый сервис. Проверьте, что всё в порядке:

ollama --version

Шаг 2. Выбор модели под ваше железо

Главное ограничение — память. Модель должна поместиться в видеопамять GPU или, если GPU нет, в оперативную память. Чем больше параметров, тем умнее модель и тем больше ей нужно памяти.

Ориентир из документации Ollama:

Что учитывать:

• Квантизация (например, 4-битные версии) сильно уменьшает размер модели ценой небольшой потери качества. Большинство моделей в библиотеке Ollama уже квантизованы.
• GPU ускоряет генерацию в разы по сравнению с процессором. Без GPU выбирайте маленькие модели.
• Длинный контекст тоже расходует память — оставляйте запас.
• Для русского и узбекского языков проверяйте модели на своих текстах: качество на них заметно различается.

Шаг 3. Запуск и диалог

ollama pull llama3.2
ollama run llama3.2

Команда run открывает чат в терминале. Полезные команды:

• ollama list — установленные модели;
• ollama ps — что загружено в память сейчас;
• ollama rm <model> — удалить модель и освободить диск.

Шаг 4. Локальный API

Ollama поднимает HTTP API на http://localhost:11434. К нему можно подключить своё приложение:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [{"role": "user", "content": "Кратко объясни, что такое Docker"}],
  "stream": false
}'

Также есть совместимый с OpenAI эндпоинт /v1/chat/completions, поэтому многие существующие SDK и библиотеки работают с Ollama после замены базового URL. Подробности — в документации Ollama.

Если API нужен с другого компьютера, не открывайте порт в интернет без защиты: у Ollama нет встроенной авторизации. Ставьте перед ним reverse proxy с аутентификацией или используйте VPN.

Реалистичные ожидания

• Качество. Небольшие локальные модели уступают ведущим облачным моделям в сложных рассуждениях, программировании и редких языках. Для простых и узких задач их часто достаточно.
• Скорость. На ноутбуке без GPU ответ генерируется медленно, особенно у крупных моделей. Первый запрос дольше — модель загружается в память.
• Нагрузка. Один компьютер обслуживает ограниченное число параллельных запросов. Для команды или продукта нужен отдельный сервер с GPU.
• Обслуживание. Обновление моделей, мониторинг и безопасность теперь на вас.

Частые ошибки

• Скачать модель, которая не помещается в память, и получить очень медленную работу из-за подкачки.
• Сравнивать маленькую локальную модель с флагманской облачной и разочароваться.
• Открыть порт 11434 наружу без защиты.
• Не проверить модель на реальных данных перед внедрением.