Запуск моделей локально
Содержание курса
Локальные модели: зачем и что нужно
В прошлом уроке мы подключали OpenRouter и выбирали модели из каталога. Многие из них — так называемые open-weight модели: их веса открыты, то есть любой может скачать и запустить их самостоятельно. Llama от Meta, Qwen от Alibaba, Gemma от Google — все они open-weight. Но когда мы используем их через OpenRouter, запросы всё равно уходят на серверы провайдера. Ваш код видит третья сторона.
Для большинства задач это не критично. Но если вы работаете с проприетарным кодом, чувствительными данными клиентов или просто хотите полной изоляции — локальный запуск решает проблему радикально: модель работает на вашем железе, никакие данные не покидают машину.
Форматы моделей
Прежде чем говорить о железе, разберёмся с форматами — от этого зависит что вообще можно запустить на вашей машине.
GGUF — универсальный формат, созданный проектом llama.cpp. Это основной формат для локального запуска: работает на CPU, GPU с CUDA, и Apple Silicon через Metal. Практически все инструменты для локального запуска — LM Studio, Ollama, jan.ai — понимают GGUF. Модели в этом формате уже поставляются со встроенной квантизацией, и их можно скачать напрямую с Hugging Face. Когда вы видите файл вроде model-Q4_K_M.gguf — это он.
MLX — формат Apple, разработанный специально для Apple Silicon. Использует unified memory и оптимизирован под Neural Engine чипов M-серии. На Mac с чипами M1 и новее MLX даёт заметно более высокую скорость генерации по сравнению с GGUF на той же машине. LM Studio поддерживает MLX на Apple Silicon — Ollama пока нет, поддержка на roadmap. MLX-модели лежат на Hugging Face в организации mlx-community.
Safetensors / PyTorch — «сырые» форматы, в которых модели сохраняются после обучения. Не оптимизированы для инференса на потребительском железе. Чтобы запустить модель в таком формате локально, её нужно сначала конвертировать в GGUF. Эти форматы вы встретите на Hugging Face у оригинальных чекпоинтов.
Для практических целей: если у вас Mac с M-чипом — смотрите на MLX-версии моделей в LM Studio, они быстрее. На Windows и Linux — GGUF.
Квантизация: как большая модель помещается на маленькое железо
Модель хранит свои параметры в виде чисел. По умолчанию — 16 бит на каждый параметр. Квантизация сжимает эти числа до 4–8 бит, уменьшая размер модели и требования к памяти примерно в два-четыре раза, с минимальной потерей качества.
Самый распространённый вариант — Q4_K_M: 4-битная квантизация с оптимизацией по ключевым слоям. Это золотой стандарт для потребительского железа — модель влезает в VRAM, работает быстро, качество практически не отличается от полной версии. Модель 8B в Q4_K_M весит около 5 ГБ вместо 16 ГБ в полном формате.
Q8 даёт чуть лучшее качество, но вдвое больший размер. Q3 и ниже — заметная деградация качества, оправдана только если модель иначе не влезает.
Требования к железу
Главный ресурс при локальном запуске — память. Если модель не помещается целиком в быструю память, часть слоёв уходит в медленную (оперативную), и скорость генерации падает кратно — с 40 токенов в секунду до 2–3. Поэтому ключевое правило: модель должна помещаться в VRAM целиком.
На Windows и Linux быстрая память — это VRAM видеокарты. Для ускорения нужна NVIDIA с поддержкой CUDA (RTX-серия) или AMD с ROCm. CPU-режим работает везде, но медленно — подходит для экспериментов, не для агентной работы.
На Apple Silicon картина другая: GPU и CPU используют единый пул памяти (unified memory). Это означает, что весь RAM доступен как «VRAM» — Mac с 64 ГБ оперативной памяти может запускать модели, которые не поместятся ни на одну потребительскую видеокарту.
Ориентировочные цифры для Q4_K_M квантизации:
| Железо | Модели | Реальные возможности |
|---|---|---|
| 4–6 ГБ VRAM / 16 ГБ RAM (Mac) | 3–4B | простые вопросы, маленькие скрипты |
| 8 ГБ VRAM / 16–32 ГБ RAM (Mac) | 7–8B | несложный кодинг, короткий контекст |
| 12–16 ГБ VRAM / 32 ГБ RAM (Mac) | 14B | заметно лучше, но на сложных задачах ощутимо уступает облаку |
| 24 ГБ VRAM / 64 ГБ RAM (Mac) | 32B | уже рабочий инструмент, разрыв с облаком сокращается |
| 48+ ГБ VRAM / 96+ ГБ RAM (Mac) | 70B | лучшее что доступно локально, всё ещё заметно слабее топовых облачных |
Важно правильно понимать масштаб разрыва. Топовые облачные модели (например, флагманские модели Anthropic или OpenAI) используют архитектуру Mixture of Experts: формально это триллионы параметров, но на каждом токене работает лишь часть сети — обычно эквивалент десятков миллиардов. Поэтому корректное сравнение — не «70 миллиардов против нескольких триллионов», а скорее «70B против ~30–50B активных параметров».
Тем не менее разница хорошо видна на практических бенчмарках. Например, в рейтинге LLM для кодинга от Vellum топовые облачные модели стабильно занимают верхние позиции на SWE-bench и других инженерных тестах (≈80%+), тогда как даже сильные open-source модели заметно отстают . Это отражает реальный разрыв именно в сложных задачах — не в синтаксисе, а в многошаговом reasoning и работе с кодовой базой.
На простых и средних задачах 32–70B уже близки по уровню, но на сложных сценариях — многошаговый рефакторинг, архитектура, анализ больших кодовых баз — преимущество облака остаётся существенным. Локальные модели — это компромисс между приватностью, стоимостью и качеством, а не полная замена.
Где скачать модели
Hugging Face (huggingface.co) — основной репозиторий open-weight моделей. Здесь лежат оригинальные веса и конвертированные GGUF-версии от сообщества. Организации lmstudio-community, bartowski и mlx-community публикуют проверенные квантизованные версии популярных моделей. Для скачивания конкретного файла достаточно перейти во вкладку Files и скачать нужный .gguf.
На практике же скачивать модели вручную с Hugging Face нужно редко — LM Studio и Ollama делают это сами через встроенные каталоги. В следующих шагах мы разберём оба инструмента.
