LLMOps: задачи на JSON, retries, стоимость и оценку качества
В этой подборке эксплуатационные задачи LLM-сервиса решаются на готовых входных данных. Для упражнений на код не требуется покупать токены или вызывать внешнюю модель: проверяются обработка событий и логика приложения.
Что стоит проверить
Начните с журнала JSON Lines, затем обработайте невалидные ответы и расписание повторных запросов. В quality gate переведите условия допуска релиза в программу, включая граничные значения. В числовой задаче рассчитайте цену запроса по учебным ставкам.
Вопросы о задержке и цитатах помогают не смешивать разные метрики. Ранний первый токен не равен быстрому завершению запроса, а правильный формат ссылки не доказывает, что документ подтверждает утверждение.
Упражнения
- JSON-лог вызовов LLM на Python: задача с проверкой
- Валидация JSON и retries на Python: задача Guardrails
- Retry backoff, Retry-After и jitter: задача на Python
- Стоимость токенов LLM с кэшем: расчёт цены запроса
- LLM streaming: задержка первого токена и полный ответ
- Quality Gate для LLM: задача на допуск релиза
- PromptOps: почему хороший промпт требует версий и тестов
- RAG с цитатами: что проверять автоматическим тестом
Каждое упражнение проверяется без регистрации. Полная программа соответствующего курса доступна по ссылке на странице задачи.
- JSON-лог вызовов LLM на Python: задача с проверкой
Соберите JSON Lines журнал вызовов модели с заданными полями и форматированием. Без внешнего API и регистрации.
LLMOps & Evaluation: из песочницы в продакшн - Валидация JSON и retries на Python: задача Guardrails
Проверьте ответы по упрощённой схеме и примите первый валидный вариант. Практическая задача с проверкой Python-кода.
LLMOps & Evaluation: из песочницы в продакшн - Retry backoff, Retry-After и jitter: задача на Python
Постройте расписание повторных запросов по ответам мок-API. Бесплатная задача с проверкой Python-кода.
LLMOps & Evaluation: из песочницы в продакшн - Стоимость токенов LLM с кэшем: расчёт цены запроса
Посчитайте стоимость input и output токенов с частичным кэшированием входа. Числовая задача с проверкой ответа.
LLMOps & Evaluation: из песочницы в продакшн - LLM streaming: задержка первого токена и полный ответ
Разберите, что улучшает потоковая выдача и почему она не равна ускорению всей генерации. Задача с проверкой.
LLMOps & Evaluation: из песочницы в продакшн - Quality Gate для LLM: задача на допуск релиза
Проверьте отчёт офлайн-оценки и решите, можно ли выпускать версию. Бесплатная задача на Python с проверкой.
LLMOps & Evaluation: из песочницы в продакшн - PromptOps: почему хороший промпт требует версий и тестов
Разберите изменение данных и моделей после запуска LLM-сервиса. Бесплатная задача на эксплуатацию промптов.
LLMOps & Evaluation: из песочницы в продакшн - RAG с цитатами: что проверять автоматическим тестом
Выберите проверяемый инвариант ответа с источниками. Практическая задача по тестированию RAG без регистрации.
LLMOps & Evaluation: из песочницы в продакшн
