Инструменты и рабочая среда

Запуск моделей локально

Содержание курса

Ollama

Под капотом LM Studio и Ollama работает один и тот же движок — llama.cpp, C/C++ реализация инференса, которая умеет эффективно использовать CPU, NVIDIA CUDA и Apple Metal. Разница не в движке, а в интерфейсе и философии: LM Studio — GUI-приложение, Ollama — CLI-инструмент без графики. Ollama проще интегрировать в скрипты, удобнее держать как фоновый сервис, и легче запускать на сервере или в Docker.

Установка

На macOS и Windows — скачиваем установщик с ollama.com. На macOS Ollama встаёт как системный сервис и запускается автоматически при старте. На Windows — аналогично через installer.

На Linux:

curl -fsSL https://ollama.com/install.sh | sh

Проверяем:

ollama --version

Скачать и запустить модель

На сайте ollama.com есть каталог моделей.

Выбрав интересующую вас модель, вы можете на её странице сразу скопировать команду её запуска.

Команда run автоматически скачивает и сразу запускает модель. Если же запускать не нужно, можно просто скачать:

ollama pull nemotron-cascade-2

Ollama сам выберет подходящую квантизацию для вашего железа. Если хотите указать явно — на странице каждой модели есть список доступных вариантов.

После запуска открывается интерактивный чат прямо в терминале, в котором можно проверить модель. Для выхода — /bye или Ctrl+D.

Посмотреть все скачанные модели:

ollama list

Интеграция с инструментами

Ollama автоматически запускает локальный сервер в фоне — он доступен на http://localhost:11434 с OpenAI-совместимым API. Если по какой-то причине сервер не запустился автоматически:

ollama serve

Подключение к Roo Code аналогично LM Studio из предыдущего шага, только указываем соответственно Ollama в поле провайдера. URL если не меняли он так же знает.

Так же Ollama поддерживает интеграцию с GitHub Copilot

Для трёх CLI-агентов, которые мы разбирали в курсе, у Ollama есть нативные интеграции через команду ollama launch. Она автоматически настраивает нужные переменные окружения и запускает агент, указав ему смотреть на локальный Ollama-сервер.

Claude Code — Ollama поднимает Anthropic-совместимый API, и Claude Code подключается через родной Anthropic-протокол:

ollama launch claude
# или с конкретной моделью:
ollama launch claude --model qwen3.5

Codex — подключается через флаг --oss, который переключает его на OpenAI-совместимый API Ollama. По умолчанию использует модель gpt-oss:20b:

ollama launch codex
# или вручную:
codex --oss
codex --oss -m gpt-oss:120b

OpenCode — запускается аналогично:

ollama launch opencode

Все три агента требуют контекстного окна минимум 64k токенов — иначе они обрезают контекст на длинных задачах. Размер контекста можно менять в настройках в десктопном приложении

Либо задав переменную при запуске

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

Помимо инструментов из курса, Ollama также интегрируется с агентами Droid, Goose и Pi — если интересно, подробности в разделе интеграций документации.

Когда Ollama, когда LM Studio

Оба инструмента решают одну задачу, выбор — вопрос удобства. LM Studio удобнее для первого знакомства с локальными моделями: каталог, визуальный выбор квантизации, встроенный чат. Ollama удобнее когда нужна автоматизация — можно написать скрипт, который запускает нужную модель, делает запрос и обрабатывает результат, без участия GUI. Также Ollama проще держать как постоянный фоновый сервис на рабочей машине: запустил один раз, модели доступны всегда.

Есть важный практический нюанс с памятью. LM Studio по умолчанию делает CPU offload — если модель не помещается в VRAM целиком, часть слоёв автоматически уходит в оперативную память и модель всё равно запускается, пусть и медленнее. Так 12-гигабайтная модель может работать на 8 ГБ VRAM — медленно, но работает. Ollama в этом плане строже: если модель не вписывается в доступную память, он просто отказывается её запускать. Теоретически CPU offload в Ollama настраивается через параметр OLLAMA_NUM_GPU и Modelfile, но на практике добиться стабильной работы получается не всегда. Если у вас ограниченная VRAM и нужно запускать модели на грани — LM Studio надёжнее.

На Apple Silicon LM Studio поддерживает MLX-модели, которые на M-чипах быстрее GGUF. Ollama пока работает только с GGUF через llama.cpp, MLX-поддержка в разработке. Если скорость генерации критична на Mac — LM Studio с MLX-моделями даст заметный выигрыш.

Итоги урока

Локальный запуск моделей решает задачу приватности радикально: данные не покидают машину. Ключевой формат для этого — GGUF, работающий на любом железе через llama.cpp; на Apple Silicon альтернативой служит MLX с заметно более высокой скоростью на M-чипах. Размер модели, которую реально запустить, определяется объёмом VRAM (на PC) или unified memory (на Mac): 8 ГБ достаточно для 7–8B моделей в Q4_K_M квантизации — вполне рабочий вариант для агентной разработки. LM Studio — лучший старт: встроенный каталог, визуальный выбор квантизации, сервер в один клик. Ollama работает на том же движке, но без GUI — удобнее для автоматизации и как постоянный фоновый сервис. Оба поднимают OpenAI-совместимый API на localhost, что позволяет подключить их к разным BYOM агентам.

Начать заново?

Помощник начнёт новый диалог по этой задаче. Текущая переписка останется в истории до конца срока хранения.

О переписке

Можно приложить до трёх фото PNG, JPEG или WebP по 5 МБ.

Переписка и фото хранятся 90 дней после последнего принятого сообщения и доступны преподавателям курса. Чтобы попросить преподавателя подключиться, отправьте обращение из диалога.

Проверка решения остаётся отдельным действием.