Задачи курса «LLMOps & Evaluation: из песочницы в продакшн»

Выберите задачу и проверьте решение прямо на странице. Регистрация не нужна.

• PromptOps: почему хороший промпт требует версий и тестов

  Разберите изменение данных и моделей после запуска LLM-сервиса. Бесплатная задача на эксплуатацию промптов.

• LLM streaming: задержка первого токена и полный ответ

  Разберите, что улучшает потоковая выдача и почему она не равна ускорению всей генерации. Задача с проверкой.

• JSON-лог вызовов LLM на Python: задача с проверкой

  Соберите JSON Lines журнал вызовов модели с заданными полями и форматированием. Без внешнего API и регистрации.

• Quality Gate для LLM: задача на допуск релиза

  Проверьте отчёт офлайн-оценки и решите, можно ли выпускать версию. Бесплатная задача на Python с проверкой.

• Валидация JSON и retries на Python: задача Guardrails

  Проверьте ответы по упрощённой схеме и примите первый валидный вариант. Практическая задача с проверкой Python-кода.

• Retry backoff, Retry-After и jitter: задача на Python

  Постройте расписание повторных запросов по ответам мок-API. Бесплатная задача с проверкой Python-кода.

• RAG с цитатами: что проверять автоматическим тестом

  Выберите проверяемый инвариант ответа с источниками. Практическая задача по тестированию RAG без регистрации.

• Стоимость токенов LLM с кэшем: расчёт цены запроса

  Посчитайте стоимость input и output токенов с частичным кэшированием входа. Числовая задача с проверкой ответа.