Запуск моделей локально
Содержание курса
Ollama
Под капотом LM Studio и Ollama работает один и тот же движок — llama.cpp, C/C++ реализация инференса, которая умеет эффективно использовать CPU, NVIDIA CUDA и Apple Metal. Разница не в движке, а в интерфейсе и философии: LM Studio — GUI-приложение, Ollama — CLI-инструмент без графики. Ollama проще интегрировать в скрипты, удобнее держать как фоновый сервис, и легче запускать на сервере или в Docker.
Установка
На macOS и Windows — скачиваем установщик с ollama.com. На macOS Ollama встаёт как системный сервис и запускается автоматически при старте. На Windows — аналогично через installer.
На Linux:
curl -fsSL https://ollama.com/install.sh | sh
Проверяем:
ollama --version
Скачать и запустить модель
На сайте ollama.com есть каталог моделей.
Выбрав интересующую вас модель, вы можете на её странице сразу скопировать команду её запуска.
Команда run автоматически скачивает и сразу запускает модель. Если же запускать не нужно, можно просто скачать:
ollama pull nemotron-cascade-2
Ollama сам выберет подходящую квантизацию для вашего железа. Если хотите указать явно — на странице каждой модели есть список доступных вариантов.
После запуска открывается интерактивный чат прямо в терминале, в котором можно проверить модель. Для выхода — /bye или Ctrl+D.
Посмотреть все скачанные модели:
ollama list
Интеграция с инструментами
Ollama автоматически запускает локальный сервер в фоне — он доступен на http://localhost:11434 с OpenAI-совместимым API. Если по какой-то причине сервер не запустился автоматически:
ollama serve
Подключение к Roo Code аналогично LM Studio из предыдущего шага, только указываем соответственно Ollama в поле провайдера. URL если не меняли он так же знает.
Так же Ollama поддерживает интеграцию с GitHub Copilot
Для трёх CLI-агентов, которые мы разбирали в курсе, у Ollama есть нативные интеграции через команду ollama launch. Она автоматически настраивает нужные переменные окружения и запускает агент, указав ему смотреть на локальный Ollama-сервер.
Claude Code — Ollama поднимает Anthropic-совместимый API, и Claude Code подключается через родной Anthropic-протокол:
ollama launch claude # или с конкретной моделью: ollama launch claude --model qwen3.5
Codex — подключается через флаг --oss, который переключает его на OpenAI-совместимый API Ollama. По умолчанию использует модель gpt-oss:20b:
ollama launch codex # или вручную: codex --oss codex --oss -m gpt-oss:120b
OpenCode — запускается аналогично:
ollama launch opencode
Все три агента требуют контекстного окна минимум 64k токенов — иначе они обрезают контекст на длинных задачах. Размер контекста можно менять в настройках в десктопном приложении
Либо задав переменную при запуске
OLLAMA_CONTEXT_LENGTH=64000 ollama serve
Помимо инструментов из курса, Ollama также интегрируется с агентами Droid, Goose и Pi — если интересно, подробности в разделе интеграций документации.
Когда Ollama, когда LM Studio
Оба инструмента решают одну задачу, выбор — вопрос удобства. LM Studio удобнее для первого знакомства с локальными моделями: каталог, визуальный выбор квантизации, встроенный чат. Ollama удобнее когда нужна автоматизация — можно написать скрипт, который запускает нужную модель, делает запрос и обрабатывает результат, без участия GUI. Также Ollama проще держать как постоянный фоновый сервис на рабочей машине: запустил один раз, модели доступны всегда.
Есть важный практический нюанс с памятью. LM Studio по умолчанию делает CPU offload — если модель не помещается в VRAM целиком, часть слоёв автоматически уходит в оперативную память и модель всё равно запускается, пусть и медленнее. Так 12-гигабайтная модель может работать на 8 ГБ VRAM — медленно, но работает. Ollama в этом плане строже: если модель не вписывается в доступную память, он просто отказывается её запускать. Теоретически CPU offload в Ollama настраивается через параметр OLLAMA_NUM_GPU и Modelfile, но на практике добиться стабильной работы получается не всегда. Если у вас ограниченная VRAM и нужно запускать модели на грани — LM Studio надёжнее.
На Apple Silicon LM Studio поддерживает MLX-модели, которые на M-чипах быстрее GGUF. Ollama пока работает только с GGUF через llama.cpp, MLX-поддержка в разработке. Если скорость генерации критична на Mac — LM Studio с MLX-моделями даст заметный выигрыш.
Итоги урока
Локальный запуск моделей решает задачу приватности радикально: данные не покидают машину. Ключевой формат для этого — GGUF, работающий на любом железе через llama.cpp; на Apple Silicon альтернативой служит MLX с заметно более высокой скоростью на M-чипах. Размер модели, которую реально запустить, определяется объёмом VRAM (на PC) или unified memory (на Mac): 8 ГБ достаточно для 7–8B моделей в Q4_K_M квантизации — вполне рабочий вариант для агентной разработки. LM Studio — лучший старт: встроенный каталог, визуальный выбор квантизации, сервер в один клик. Ollama работает на том же движке, но без GUI — удобнее для автоматизации и как постоянный фоновый сервис. Оба поднимают OpenAI-совместимый API на localhost, что позволяет подключить их к разным BYOM агентам.
