С какого приёма оптимизации latency стоит начинать в первую очередь?
Тёплые соединения — gRPC-стрим, открытый на весь звонок
Стриминг насквозь — TTS стартует с первой фразы LLM
Кэш частых фраз для мгновенного ответа на типовые реплики
Спекулятивная генерация по частичному транскрипту клиента
