Оценка LLM: офлайн-тесты, сравнение ответов и A/B-маршрутизация
Новая версия промпта отвечает убедительнее на одном примере. Как сравнить её с прежней на наборе запросов и не перемешивать варианты у одного пользователя? Здесь есть задания на автоматическую оценку готовых ответов и распределение трафика между версиями.
Начать практику: Офлайн-оценка ответов LLM: задача на Python.
Задачи на код и вопросы с выбором ответа. Проверка доступна без регистрации.
Как проходить
Сначала реализуйте офлайн-оценку текста, JSON и чисел по заданным правилам. Затем выберите подходящий режим сравнения двух ответов и напишите sticky A/B-роутер. Последний вопрос посвящён канареечному запуску. Для задач на Python не нужен ключ LLM API: входные данные уже заданы.
На что обратить внимание
В проверке JSON отделяйте возможность разобрать строку от совпадения структуры с ожидаемой. В эксперименте отделяйте долю трафика от постоянства назначения: при неизменной конфигурации один пользователь должен попадать в тот же вариант.
Задания
- Офлайн-оценка ответов LLM: задача на Python — код.
- LLM-as-a-judge: попарное сравнение ответов — вопрос.
- Sticky A/B-маршрутизация LLM: задача на Python — код.
- Канареечный релиз промпта: как проверить новую версию — вопрос.
Продолжить обучение
Разберите тему по порядку в курсе LLMOps & Evaluation: из песочницы в продакшн. Разберите тему по порядку в курсе LangChain 1.0.x: c нуля до продакшн LLM-приложений.
Связанная практика: LLMOps: задачи на JSON, retries, стоимость и оценку качества.
- Офлайн-оценка ответов LLM: задача на Python
Офлайн-оценка ответов LLM: задача на Python. Напишите код и проверьте решение.
LLMOps & Evaluation: из песочницы в продакшн - LLM-as-a-judge: попарное сравнение ответов
LLM-as-a-judge: попарное сравнение ответов. Выберите ответ и проверьте себя.
LLMOps & Evaluation: из песочницы в продакшн - Sticky A/B-маршрутизация LLM: задача на Python
Sticky A/B-маршрутизация LLM: задача на Python. Напишите код и проверьте решение.
LLMOps & Evaluation: из песочницы в продакшн - Канареечный релиз промпта: как проверить новую версию
Разберите ограниченный запуск новой версии промпта перед полным переключением. Задача PromptOps с проверкой ответа.
LangChain 1.0.x: c нуля до продакшн LLM-приложений
