Инструменты и рабочая среда

Запуск моделей локально

Содержание курса

Локальные модели: зачем и что нужно

В прошлом уроке мы подключали OpenRouter и выбирали модели из каталога. Многие из них — так называемые open-weight модели: их веса открыты, то есть любой может скачать и запустить их самостоятельно. Llama от Meta, Qwen от Alibaba, Gemma от Google — все они open-weight. Но когда мы используем их через OpenRouter, запросы всё равно уходят на серверы провайдера. Ваш код видит третья сторона.

Для большинства задач это не критично. Но если вы работаете с проприетарным кодом, чувствительными данными клиентов или просто хотите полной изоляции — локальный запуск решает проблему радикально: модель работает на вашем железе, никакие данные не покидают машину.

Форматы моделей

Прежде чем говорить о железе, разберёмся с форматами — от этого зависит что вообще можно запустить на вашей машине.

GGUF — универсальный формат, созданный проектом llama.cpp. Это основной формат для локального запуска: работает на CPU, GPU с CUDA, и Apple Silicon через Metal. Практически все инструменты для локального запуска — LM Studio, Ollama, jan.ai — понимают GGUF. Модели в этом формате уже поставляются со встроенной квантизацией, и их можно скачать напрямую с Hugging Face. Когда вы видите файл вроде model-Q4_K_M.gguf — это он.

MLX — формат Apple, разработанный специально для Apple Silicon. Использует unified memory и оптимизирован под Neural Engine чипов M-серии. На Mac с чипами M1 и новее MLX даёт заметно более высокую скорость генерации по сравнению с GGUF на той же машине. LM Studio поддерживает MLX на Apple Silicon — Ollama пока нет, поддержка на roadmap. MLX-модели лежат на Hugging Face в организации mlx-community.

Safetensors / PyTorch — «сырые» форматы, в которых модели сохраняются после обучения. Не оптимизированы для инференса на потребительском железе. Чтобы запустить модель в таком формате локально, её нужно сначала конвертировать в GGUF. Эти форматы вы встретите на Hugging Face у оригинальных чекпоинтов.

Для практических целей: если у вас Mac с M-чипом — смотрите на MLX-версии моделей в LM Studio, они быстрее. На Windows и Linux — GGUF.

Квантизация: как большая модель помещается на маленькое железо

Модель хранит свои параметры в виде чисел. По умолчанию — 16 бит на каждый параметр. Квантизация сжимает эти числа до 4–8 бит, уменьшая размер модели и требования к памяти примерно в два-четыре раза, с минимальной потерей качества.

Самый распространённый вариант — Q4_K_M: 4-битная квантизация с оптимизацией по ключевым слоям. Это золотой стандарт для потребительского железа — модель влезает в VRAM, работает быстро, качество практически не отличается от полной версии. Модель 8B в Q4_K_M весит около 5 ГБ вместо 16 ГБ в полном формате.

Q8 даёт чуть лучшее качество, но вдвое больший размер. Q3 и ниже — заметная деградация качества, оправдана только если модель иначе не влезает.

Требования к железу

Главный ресурс при локальном запуске — память. Если модель не помещается целиком в быструю память, часть слоёв уходит в медленную (оперативную), и скорость генерации падает кратно — с 40 токенов в секунду до 2–3. Поэтому ключевое правило: модель должна помещаться в VRAM целиком.

На Windows и Linux быстрая память — это VRAM видеокарты. Для ускорения нужна NVIDIA с поддержкой CUDA (RTX-серия) или AMD с ROCm. CPU-режим работает везде, но медленно — подходит для экспериментов, не для агентной работы.

На Apple Silicon картина другая: GPU и CPU используют единый пул памяти (unified memory). Это означает, что весь RAM доступен как «VRAM» — Mac с 64 ГБ оперативной памяти может запускать модели, которые не поместятся ни на одну потребительскую видеокарту.

Ориентировочные цифры для Q4_K_M квантизации:

Железо Модели Реальные возможности
4–6 ГБ VRAM / 16 ГБ RAM (Mac) 3–4B простые вопросы, маленькие скрипты
8 ГБ VRAM / 16–32 ГБ RAM (Mac) 7–8B несложный кодинг, короткий контекст
12–16 ГБ VRAM / 32 ГБ RAM (Mac) 14B заметно лучше, но на сложных задачах ощутимо уступает облаку
24 ГБ VRAM / 64 ГБ RAM (Mac) 32B уже рабочий инструмент, разрыв с облаком сокращается
48+ ГБ VRAM / 96+ ГБ RAM (Mac) 70B лучшее что доступно локально, всё ещё заметно слабее топовых облачных

Важно правильно понимать масштаб разрыва. Топовые облачные модели (например, флагманские модели Anthropic или OpenAI) используют архитектуру Mixture of Experts: формально это триллионы параметров, но на каждом токене работает лишь часть сети — обычно эквивалент десятков миллиардов. Поэтому корректное сравнение — не «70 миллиардов против нескольких триллионов», а скорее «70B против ~30–50B активных параметров».

Тем не менее разница хорошо видна на практических бенчмарках. Например, в рейтинге LLM для кодинга от Vellum топовые облачные модели стабильно занимают верхние позиции на SWE-bench и других инженерных тестах (≈80%+), тогда как даже сильные open-source модели заметно отстают . Это отражает реальный разрыв именно в сложных задачах — не в синтаксисе, а в многошаговом reasoning и работе с кодовой базой.

На простых и средних задачах 32–70B уже близки по уровню, но на сложных сценариях — многошаговый рефакторинг, архитектура, анализ больших кодовых баз — преимущество облака остаётся существенным. Локальные модели — это компромисс между приватностью, стоимостью и качеством, а не полная замена.

Где скачать модели

Hugging Face (huggingface.co) — основной репозиторий open-weight моделей. Здесь лежат оригинальные веса и конвертированные GGUF-версии от сообщества. Организации lmstudio-community, bartowski и mlx-community публикуют проверенные квантизованные версии популярных моделей. Для скачивания конкретного файла достаточно перейти во вкладку Files и скачать нужный .gguf.

На практике же скачивать модели вручную с Hugging Face нужно редко — LM Studio и Ollama делают это сами через встроенные каталоги. В следующих шагах мы разберём оба инструмента.

Начать заново?

Помощник начнёт новый диалог по этой задаче. Текущая переписка останется в истории до конца срока хранения.

О переписке

Можно приложить до трёх фото PNG, JPEG или WebP по 5 МБ.

Переписка и фото хранятся 90 дней после последнего принятого сообщения и доступны преподавателям курса. Чтобы попросить преподавателя подключиться, отправьте обращение из диалога.

Проверка решения остаётся отдельным действием.