Инструменты и рабочая среда

Запуск моделей локально

Содержание курса

LM Studio

LM Studio — десктопное приложение для запуска локальных моделей. Главное его преимущество перед другими инструментами — удобный GUI: модели ищутся и скачиваются прямо внутри приложения, загрузка и настройка делается в несколько кликов, а локальный сервер запускается одной кнопкой. Под капотом — движок llama.cpp для GGUF-моделей и собственный MLX-движок для Apple Silicon.

Установка

Скачиваем с lmstudio.ai — установщик под вашу платформу определяется автоматически. На macOS открываем .dmg и перетаскиваем в Applications, на Windows запускаем инсталлятор, на Linux доступен .AppImage.

Поиск и загрузка модели

Встроенный каталог LM Studio — самый удобный способ найти и скачать модель. Открываем раздел Discover (иконка лупы в боковом меню) или нажимаем Cmd+Shift+M на macOS / Ctrl+Shift+M на Windows.

В поиске набираем название модели, LM Studio показывает доступные варианты с указанием размера и квантизации, модели, которые полностью помещаются в доступную VRAM, подсвечиваются зелёным цветом и символом ракеты. Рядом показывается объём VRAM, который потребуется.

Нажимаем Download — модель скачивается в фоне. Прогресс виден прямо в интерфейсе.

В настройках можно поменять путь сохранения моделей

Загрузка модели и первый чат

После скачивания, LM Studio сам предложит её загрузить, либо мы можем это сделать сами в верху выбрав желаемую модель. 

Переходим в раздел Chat и проверяем что модель работает. В меню справа доступны настройки модели (системный промпт, температура, размер контекста и много других настроек)

Теперь можно общаться с моделью в интерфейсе, не отличимом от обычного чат-приложения. Всё работает офлайн — никаких запросов в интернет.

Локальный сервер

Чат — это удобно, но главная ценность LM Studio для разработчика в другом: оно поднимает локальный сервер с OpenAI и Anthropic-совместимым API. Это означает, что любой инструмент, который умеет работать с доступными API, можно переключить на локальную модель — просто изменив адрес сервера.

По суть, загрузив в память модель, мы уже запустили сервер. Открываем раздел Developer (иконка >_ в боковом меню [1]). Здесь мы так же можем загружать и выгружать из памяти модели, менять настройки сервера (Порт и другие. По умолчанию сервер слушает на http://localhost:1234 [2]), копировать название модели [3] просматривать доступные эндпоинты [4], смотреть логи

Интеграция с инструментами

Roo Code

Заходим в настройки, добавляем нового провайдера, из списка выбираем LM Studio, доступные модели автоматически считываются расширением, просто выбираем нужную и сохраняем.

Настройка модели становится доступной для выбора под окном ввода запроса

Cloude Code

Создаём файл с настройками ~/.claude/lmstudio.settings.json (название можно заменить)

{
    "env": {
        "ANTHROPIC_BASE_URL": "http://127.0.0.1:1234/",
        "ANTHROPIC_AUTH_TOKEN": "dummy",
        "API_TIMEOUT_MS": "3000000",
        "CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC": 1,
        "ANTHROPIC_MODEL": "default_model",
        "ANTHROPIC_SMALL_FAST_MODEL": "default_model",
        "ANTHROPIC_DEFAULT_SONNET_MODEL": "default_model",
        "ANTHROPIC_DEFAULT_OPUS_MODEL": "default_model",
        "ANTHROPIC_DEFAULT_HAIKU_MODEL": "default_model"
    }
}

default_model позволит не менять настройки, когда мы меняем модели

Потом запускаем Claude code с параметром --settings <путь к файлу настроек>

Не все модели одинаково хорошо справляются, поэтому если на выходе получаете ошибки, попробуйте поменять модель

Codex

Чтобы подключить локальную модель тут, нужно отредактировать фаил ~/.codex/config.toml

api_key = "lm-studio" # на самом деле не важно что тут, ключ у нас не задан
model = "nvidia/nemotron-3-nano-4b" # название модели
openai_base_url = "http://127.0.0.1:1234/v1" # адрес LM Studio

При подключении из WSL нужно пробрасывать порты, так как внутри WSL, codex не увидит наш windows localhost.
Проще на windows использовать другие инструменты для этого

OpenCode

Запускаем /connect в TUI, прокручиваем список до LM Studio — он уже есть в каталоге провайдеров.

Однако по умолчанию там забиты всего несколько моделей

На практике что бы мы там не выбрали, работать оно всё равно будет с запущенной моделью

Как видим модель у нас загружена совсем другая, но он всё равно отвечает (причём на вопрос "что ты за модель?", будет отвечать согласно системным инструкциям opencode в соответствии с названием выбранной в нём модели)
Если же мы хотим сделать картину более ясной, то можно создать файл с настройками ~/.config/opencode/opencode.json

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "lmstudio": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "LM Studio (local)",
      "options": {
        "baseURL": "http://127.0.0.1:1234/v1"
      },
      "models": {
        "nvidia/nemotron-3-nano-4b": {
          "name": "nvidia/nemotron-3-nano-4b (local)"
        }
      }
    }
  }
}

Тут мы можем явно прописать отображаемое название провайдера и моделей, указать адрес и порт. Перезагружаем opencode и проверяем.

Настройка производительности

LM Studio позволяет гибко управлять распределением нагрузки между GPU и CPU, а также размером окна контекста для модели.

  • GPU Offload — Определяет, сколько слоёв модели будет вычисляться на графическом процессоре. Чем больше слоёв на GPU, тем быстрее inference, но требуется больше видеопамяти. Если модель не помещается полностью на GPU, часть вычислений будет идти через CPU, что замедляет работу.
  • Context Length — Максимальное количество токенов, которое модель может учитывать в одном запросе. Этот параметр задаёт “окно контекста” и напрямую влияет на объём текста, который модель может обработать за один раз. Диапозон зависит от конкретной модели

    Опции Conversation Overflow в разделе Inference params позволяют управлять переполнением контекста при длинных сессиях.

  • Advanced → CPU Thread Pool Size
    Устанавливает количество потоков CPU, выделяемых для вычислений модели. Оптимизация этого параметра помогает ускорить работу при недостатке видеопамяти или при вычислении на CPU.

Советы:

  • Для больших моделей комбинируйте GPU Offload с оптимизацией CPU Thread Pool Size.
  • На Apple Silicon с MLX-моделями ручная настройка GPU Offload обычно не нужна, unified memory распределяет слои автоматически.
  • Контекст выбирайте в зависимости от объёма текста и задач: больше токенов — более длинные сессии, но выше нагрузка на память.

Начать заново?

Помощник начнёт новый диалог по этой задаче. Текущая переписка останется в истории до конца срока хранения.

О переписке

Можно приложить до трёх фото PNG, JPEG или WebP по 5 МБ.

Переписка и фото хранятся 90 дней после последнего принятого сообщения и доступны преподавателям курса. Чтобы попросить преподавателя подключиться, отправьте обращение из диалога.

Проверка решения остаётся отдельным действием.