Machine LearningНачальный

LLMOps & Evaluation: из песочницы в продакшн

Практический курс по LLMOps. Соберёте продакшн-контур для LLM: eval-фреймворк (LangSmith/Ragas/OpenAI Evals), quality-гейты в CI/CD, алёрты на дрейф, монитринг скорости и стоимости, управление промпт-версиями и безопасность. Плюс профессиональные блоки: synthetic data для тестов, LLM-based judges, отчётность для релиз-комитета и runbook’и инцидентов.

Свободный темп обучения

7 модулей • 33 урока

11 учащихся

#stepik-import

Описание

LLMOps & Evaluation (PRO) — это практический курс о том, как вывести работу с GPT и другими LLM из песочницы в продакшн.

Мы разберём полный цикл: от построения пайплайнов (RAG, агенты) до оценки качества, мониторинга и оптимизации стоимости. Вы научитесь бороться с галлюцинациями, автоматизировать A/B-тесты и настраивать метрики, которые реально отражают работу модели.

В курсе:

практические инструменты: LangSmith, Ragas, OpenAI Evals, PromptLayer;

автоматизированные тесты и synthetic data;

мониторинг качества, латентности и затрат;

safety-тесты и контроль рисков.

Итог — вы сможете построить надёжную LLM-систему с измеримым качеством и управляемой стоимостью.

Вы можете задать любой вопрос по курсу автору @alexey_latorn

Автор курса

Алексей Малышкин

Разрабатываю образовательные материалы по программированию, машинному обучению и анализу данных. Темы: Python-разработка, аналитика, ML-инструменты (LangChain, vector databases, AI agents), компьютерное зрение. Стараюсь объяснять технические концепции понятно и структурировано. Ранее преподавал на Stepik и обучил более 2000 студентов.

Программа

Секция 1

Введение в LLMOps

Модуль уже открыт

Урок 1

Почему обычный prompt engineering не работает в продакшне

Урок 2

Классические боли

Урок 3

Обзор инструментов для LLMOps

Урок 4

Разбор реальных кейсов, где LLMOps сделал разницу

Урок 5

Практикум

Секция 2

Архитектура и пайплайны LLM-приложений

Модуль уже открыт

Урок 1

Компоненты продакшн-системы

Урок 2

Best practices для пайплайнов RAG и агентов

Урок 3

Управление версиями промптов и моделей (PromptOps)

Урок 4

Логирование и трассировка: как не терять контроль над моделью

Урок 5

Практикум

Секция 3

Метрики качества LLM-систем

Модуль уже открыт

Урок 1

Почему «accuracy» ≠ качество в LLM

Урок 2

Классические метрики

Урок 3

Современные метрики

Урок 4

User-oriented метрики

Урок 5

Как построить дашборд для мониторинга качества

Секция 4

Evaluation на практике

Модуль уже открыт

Урок 1

Как тестировать промпты и пайплайны (unit tests для LLM)

Урок 2

Автоматизированные A/B тесты с помощью LLM-оценки

Урок 3

Human-in-the-loop: когда и зачем нужны люди в тестировании

Урок 4

Генерация тест-датасетов (synthetic data) для проверки модели

Урок 5

Практика: написать собственный фреймворк для оценки

Секция 5

LLM Monitoring & Observability

Модуль уже открыт

Урок 1

Как мониторить продакшн-LLM

Урок 2

Alerting и логирование промптов/ответов

Урок 3

Борьба с деградацией качества (drift detection)

Урок 4

Cost management: оптимизация бюджета на LLM

Секция 6

Advanced Topics (для PRO)

Модуль уже открыт

Урок 1

Ragas: как построить автоматическую систему оценки RAG-проектов

Урок 2

OpenAI Evals и Custom Evals

Урок 3

LLM-based judges (оценка ответов через LLM)

Урок 4

Safety & Red-teaming

Урок 5

Интеграция с CI/CD: автоматические quality-гейты для деплоя

Секция 7

Практический проект

Модуль уже открыт

Урок 1

Построение RAG-системы с автоматической оценкой качества

Урок 2

Настройка метрик и мониторинга

Урок 3

Проведение A/B тестов между версиями промптов

Урок 4

Сбор и анализ результатов → финальный отчёт