LLMOps & Evaluation: из песочницы в продакшн
Практический курс по LLMOps. Соберёте продакшн-контур для LLM: eval-фреймворк (LangSmith/Ragas/OpenAI Evals), quality-гейты в CI/CD, алёрты на дрейф, монитринг скорости и стоимости, управление промпт-версиями и безопасность. Плюс профессиональные блоки: synthetic data для тестов, LLM-based judges, отчётность для релиз-комитета и runbook’и инцидентов.
Программы обучения
Входит в 1 программу
Этот курс можно пройти отдельно или в составе одной из программ.
О курсе
LLMOps & Evaluation (PRO) — это практический курс о том, как вывести работу с GPT и другими LLM из песочницы в продакшн.
Мы разберём полный цикл: от построения пайплайнов (RAG, агенты) до оценки качества, мониторинга и оптимизации стоимости. Вы научитесь бороться с галлюцинациями, автоматизировать A/B-тесты и настраивать метрики, которые реально отражают работу модели.
В курсе:
практические инструменты: LangSmith, Ragas, OpenAI Evals, PromptLayer;
автоматизированные тесты и synthetic data;
мониторинг качества, латентности и затрат;
safety-тесты и контроль рисков.
Итог — вы сможете построить надёжную LLM-систему с измеримым качеством и управляемой стоимостью.
Вы можете задать любой вопрос по курсу автору @alexey_latorn
Чему научитесь
- Проектировать контур оценки качества для RAG- и агентных LLM-систем
- Собирать тестовые наборы, включая синтетические данные и сложные пограничные случаи
- Применять Ragas, LangSmith, OpenAI Evals и LLM-based judges
- Добавлять quality-гейты для LLM-приложений в CI/CD
- Отслеживать качество, задержку, стоимость и дрейф после релиза
- Версионировать промпты и готовить отчёты и runbook для эксплуатации
Для кого
- LLM- и ML-инженеры, которые выводят RAG или агентов в продакшн
- Разработчики AI-продуктов, которым нужны измеримые критерии качества
- Тимлиды и инженеры платформ, отвечающие за надёжность и стоимость LLM-систем
Формат
- 7 модулей и 33 урока
- Практика с eval-наборами, метриками, мониторингом и релизными гейтами
- Каждый блок приводит к рабочему артефакту или отчёту
- Итоговый проект — измеримый и наблюдаемый контур LLM-приложения
Что нужно на старте
- Уверенный базовый Python
- Понимание принципов работы LLM, промптов и API
- Желательно знакомство с RAG или агентными приложениями
- Умение запускать Python-проекты и работать с Git
Автор курса
Алексей Малышкин
Разрабатываю образовательные материалы по программированию, машинному обучению и анализу данных. Темы: Python-разработка, аналитика, ML-инструменты (LangChain, vector databases, AI agents), компьютерное зрение. Стараюсь объяснять технические концепции понятно и структурировано. Ранее преподавал на Stepik и обучил более 2000 студентов. Мой профиль на Stepik - https://stepik.org/users/273781420/profile Мой телеграм для связи @alexey_latorn
Программа
01Введение в LLMOps5 уроков
02Архитектура и пайплайны LLM-приложений5 уроков
03Метрики качества LLM-систем5 уроков
04Evaluation на практике5 уроков
05LLM Monitoring & Observability4 урока
06Advanced Topics (для PRO)5 уроков
07Практический проект4 урока
Дополнительные материалы и практика
Задачи
- PromptOps: почему хороший промпт требует версий и тестов
- LLM streaming: задержка первого токена и полный ответ
- JSON-лог вызовов LLM на Python: задача с проверкой
- Quality Gate для LLM: задача на допуск релиза
- Валидация JSON и retries на Python: задача Guardrails
- Retry backoff, Retry-After и jitter: задача на Python
- RAG с цитатами: что проверять автоматическим тестом
- Стоимость токенов LLM с кэшем: расчёт цены запроса
