Golden calls для голосового агента: что оценивать кроме текста
Проверочный звонок должен оценивать поведение диалога, а не только красивую расшифровку. Важны завершение задачи, корректность данных, реакция на перебивание и то, что человек успел услышать. Текстовый ответ может выглядеть правильным, пока аудио было оборвано.
Опишите ожидаемый результат до прогона
Возьмём запись на учебную консультацию. Успех означает согласованную дату, подтверждённое время и одну запись в тестовом календаре. Человек может исправить дату или прервать длинный ответ. Эти события должны входить в сценарий, а не считаться помехами теста.
| Сценарий | Что проверить |
|---|---|
| Обычная запись | Все обязательные поля согласованы |
| Исправление даты | Сохранено последнее подтверждённое значение |
| Перебивание | Старый ответ остановлен и запрос понят |
| Недоступный календарь | Нет ложного сообщения об успехе |
Оценивайте несколько осей
Сохраняйте отдельно результат задачи, ошибки критичных полей, качество передачи хода и задержку. Один средний балл скроет ситуацию, когда агент приятен в разговоре, но иногда создаёт дубли. Для недопустимых действий полезна явная отдельная отметка.
Автоматический судья может помочь классифицировать ответы. Но он не всегда видит реальное состояние календаря, аудиобуфера и канала. Проверка действия должна опираться на данные инструмента, а качество слышимого разговора — на запись и события воспроизведения.
Разделите настройку и итоговую проверку
Часть звонков используйте для настройки, часть оставьте для независимой проверки. Если после каждой ошибки переписывать промпт под один и тот же небольшой набор, улучшение может отражать запоминание сценариев. Добавляйте новые формулировки и варианты голоса.
Фиксируйте конфигурацию STT, LLM, TTS и канала. При сравнении двух выпусков сохраняйте одинаковые исходные условия. Синтетическая запись удобна для повторяемости, но не заменяет разнообразие реальных условий, которое нужно собирать с подходящим разрешением и обезличиванием.
LiveKit предоставляет события диалога и метрики этапов. Используйте их как доказательства отдельных наблюдений. Успех маленького golden-набора — повод расширить проверку, а не гарантия качества на всех разговорах.
Этот разбор подготовлен Latorn. Если вы уже знаете основы Python и API и хотите практиковать такие решения системно, сравните программу платного курса Voice AI Agents PRO со своей задачей. Открытый пример выше можно проверить самостоятельно; он не заменяет полный проект.
Технические источники: LiveKit events and error handling. Учебные ситуации и числа в статье придуманы для объяснения механизма.
Следующий шаг: Голосовые AI-агенты: диагностика диалога и аудио. По смежным вопросам: Передача от голосового бота оператору: какие данные сохранить, Голосовой бот путает номера и даты: как подтверждать данные.
