Классический пайплайн: STT — LLM — TTS
Содержание курса
LLM: логика диалога
Текст от STT поступает в языковую модель. Задача LLM в голосовом агенте — не генерация длинных текстов, а ведение короткого целенаправленного диалога: уточнить детали, подтвердить выбор, выбрать ветку сценария, вызвать внешнюю функцию.
Что получает модель на каждом шаге диалога
На каждом ходу диалога LLM получает три составляющих в одном запросе:
- Системный промпт — инструкция агента: роль, ограничения, сценарий, формат ответов. Единственное место, где разработчик полностью контролирует поведение модели.
- История диалога — все предыдущие реплики клиента и агента. LLM не хранит состояние между запросами — история передаётся заново при каждом обращении.
- Текущая реплика — результат STT для последней фразы клиента.
Инструменты: агент vs чатбот
LLM без инструментов уже может отвечать на вопросы, консультировать по скрипту, обрабатывать FAQ — для ряда сценариев этого достаточно. Инструменты нужны там, где агент должен что-то сделать: проверить расписание, создать запись в CRM, переключить звонок на оператора, отправить SMS-подтверждение.
Принцип один у всех провайдеров: вместо текстового ответа модель возвращает структурированный вызов, приложение его выполняет и возвращает результат обратно в диалог. Модель формирует финальную реплику уже на основе реальных данных.
Ограничения формата ответа
Ответ LLM передаётся в TTS и произносится вслух. Это жёсткое ограничение на формат: никакого markdown, никаких URL, никаких перечислений с маркерами и спецсимволов. Системный промпт должен явно запрещать форматирование и ограничивать длину реплик — иначе агент начнёт зачитывать вслух «звёздочки» и «пункт первый».
Практическое правило: реплика агента в продакшне не должна превышать 2–3 коротких предложения. Длинные монологи разрывают ощущение живого разговора.
Выбор модели для голосового агента
Разные LLM дают разное соотношение задержки, качества и стоимости:
- YandexGPT Pro / Lite — работает в российском облаке, данные не покидают РФ, хорошо понимает русскую речь; основной выбор для проектов под 152-ФЗ.
- GigaChat Pro (Сбер) — альтернатива YandexGPT, есть on-premise вариант для проектов с жёсткими требованиями к размещению данных.
- GPT-5.4 mini / GPT-5.4 nano — низкая задержка, дешёвые, подходят для большинства сценариев по скрипту; доступны через VPN или Azure OpenAI.
- GPT-5.5 — максимальное качество рассуждений, 1M токенов контекста, оправдан для сложных многошаговых диалогов.
- Локальные модели (Llama, Mistral) — данные не покидают сервер, нулевые переменные затраты; требуют инфраструктуры и обслуживания.