Стоимость LLM: токены, кэш, повторы и задержка — задачи

Задачи по стоимости и задержке LLM: цена токенов, кэширование, логи, повторы и streaming.

Состав подборки: 1 числовое задание, 3 вопроса с выбором ответа, 2 задачи на код. Условия и формат проверки указаны на странице каждой задачи.

Разберите маленький пример

В учебном тарифе вход стоит 2 условные единицы за миллион токенов, выход — 8. Запрос с 1000 входных и 500 выходных токенов стоит 0.002 + 0.004 = 0.006. Это пример расчёта, а не текущая цена провайдера. Для кэшированных токенов применяется отдельная ставка, если она есть в тарифе.

На что обратить внимание

• Считайте весь цикл агента: повторные вызовы и результаты инструментов увеличивают объём.
• Кэширование части контекста не означает бесплатный ответ целиком.
• Streaming сокращает ожидание первого фрагмента, но не обязательно полное время генерации.
• Логи и правила повторов помогают объяснять расход; проверьте лимиты попыток и ожидание между ними.

Порядок практики

1. Стоимость токенов LLM с кэшем: расчёт цены запроса — числовой ответ.
2. Почему AI-агент расходует больше токенов: задача — выбор ответа.
3. Prompt caching: что кэшируется в AI-агенте — выбор ответа.
4. LLM streaming: задержка первого токена и полный ответ — выбор ответа.
5. JSON-лог вызовов LLM на Python: задача с проверкой — код.
6. Retry backoff, Retry-After и jitter: задача на Python — код.

Куда двигаться дальше

Для эксплуатации сервиса с метриками, ограничениями и проверками качества посмотрите платный курс LLMOps & Evaluation.

Контекст и работа coding-агента.