Стоимость токенов LLM с кэшем: расчёт цены запроса
Стоимость запроса складывается из отдельно тарифицируемых частей. Экономия на входных токенах не должна автоматически уменьшать стоимость выходного текста.
В условии даны учебные ставки и hit-rate, а не актуальный тариф провайдера. Переведите количество токенов в единицы тарификации, примените долю экономии только к нужной части и округлите итог по спецификации.
Это бесплатное упражнение из платного курса. Проверьте решение без регистрации. Объяснения и последовательная практика — в курсе «LLMOps & Evaluation: из песочницы в продакшн».
Цена: $0.5 за 1k input токенов и $1.5 за 1k output токенов. Средний запрос: 2 000 input токенов и 400 output токенов. Семантический кэш даёт 30% хит-рейт по входу (экономия только на input). Какова ожидаемая средняя стоимость запроса? (до 0.01)
Связанные задачи
- PromptOps: почему хороший промпт требует версий и тестов
- LLM streaming: задержка первого токена и полный ответ
- JSON-лог вызовов LLM на Python: задача с проверкой
- Quality Gate для LLM: задача на допуск релиза
- Валидация JSON и retries на Python: задача Guardrails
- Retry backoff, Retry-After и jitter: задача на Python
