Ошибки LLM API: timeout, rate limit и retry
Содержание курса
Вызов LLM API может завершиться timeout, rate limit, временной ошибкой провайдера, отказом авторизации или невалидным запросом. Retry нужен не для всех классов. Ошибку ключа, неизвестную модель или превышение контекстного окна повтор обычно не исправит; 429 и часть 5xx могут быть временными.
У запроса должны быть конечный timeout и общий deadline операции. Иначе зависшее соединение удерживает worker и пользователь не понимает состояние. Отдельно полезны connect timeout и read timeout, если SDK их поддерживает.
Классифицируйте исключения по стабильному типу или HTTP-статусу, а не по тексту сообщения. Не показывайте пользователю сырой provider error с внутренними деталями.