Голосовой агент шипит или молчит: проверьте формат аудио

Если TTS возвращает аудио, а в телефонии слышны шум или тишина, сначала проверьте формат на границе транспорта. Неверный codec или частота дискретизации могут испортить корректный звук независимо от качества модели.

Что нужно согласовать

У источника и получателя должны совпасть кодирование, sample rate, число каналов и способ упаковки. Расширение файла само по себе этого не доказывает. Контейнер WAV и сырые аудиобайты — разные формы передачи, даже если внутри используется похожий сигнал.

Слой	Что проверить
Синтез	В каком формате возвращается звук
Преобразование	Было ли реальное перекодирование
Транспорт	Какой payload ожидается
Клиент	Какой формат он декодирует

Например, двунаправленные Twilio Media Streams ожидают raw audio/x-mulaw с частотой 8000 Гц в base64. Отправка WAV-заголовка вместе с данными или простая смена подписи sample rate не превращает другой формат в нужный.

Проверяйте по одной границе

Сначала воспроизведите исходный тестовый фрагмент локально. Затем проверьте результат преобразования. После этого отправьте короткий известный сигнал в транспорт, минуя LLM и длинную генерацию. Так можно отделить неисправность аудиотракта от пустого текстового ответа.

Для теста подойдёт собственная короткая запись без персональных данных. Зафиксируйте параметры сигнала и длительность. Если после преобразования длительность изменилась в несколько раз, проверьте интерпретацию sample rate и число байтов на отсчёт.

Не исправляйте заголовком то, что требует преобразования

Замена числа 24000 на 8000 в метаданных без ресемплинга меняет скорость интерпретации аудио. Аналогично base64 — это способ представления байтов, а не звуковой codec. Переданный payload должен уже содержать корректный аудиоформат.

Сохраняйте в техническом журнале параметры и размеры фрагментов, а не только «TTS success». Успех синтеза не подтверждает, что пользователь услышал звук. Контракт вашего канала проверяйте по актуальной документации и воспроизводимому короткому тесту.

Этот разбор подготовлен Latorn. Если вы уже знаете основы Python и API и хотите практиковать такие решения системно, сравните программу платного курса Voice AI Agents PRO со своей задачей. Открытый пример выше можно проверить самостоятельно; он не заменяет полный проект.

Технические источники: Twilio Media Streams audio format. Учебные ситуации и числа в статье придуманы для объяснения механизма.

Следующий шаг: Голосовые AI-агенты: диагностика диалога и аудио. По смежным вопросам: Голосовой агент перебивает сам себя: эхо и ложный barge-in, Голосовой бот путает номера и даты: как подтверждать данные.