LLM streaming: задержка первого токена и полный ответ

Пользователь замечает как паузу до начала ответа, так и время до его завершения. Потоковая выдача позволяет показать часть результата раньше, даже если суммарная работа модели остаётся прежней.

Разделяйте time to first token и end-to-end latency при измерениях. В задаче нужно определить, какое изменение влияет на воспринимаемую скорость, не подменяя её временем завершения всей операции.

Это бесплатное упражнение из платного курса. Проверьте решение без регистрации. Объяснения и последовательная практика — в курсе «LLMOps & Evaluation: из песочницы в продакшн».