LLM-as-a-judge: попарное сравнение ответов
Для одного запроса есть ответы двух систем. Выберите схему оценки, в которой сравнение строится на паре ответов и общем критерии качества.
Выберите ответ и проверьте себя. Продолжить тему можно в курсе LLMOps & Evaluation: из песочницы в продакшн.
Нужно сравнить два ответа модели и выбрать лучший «в целом» по нескольким критериям. Какой режим LLM-as-a-judge уместен?
Без регистрации · результат не сохраняется
Связанные задачи
- Канареечный релиз промпта: как проверить новую версию
- Офлайн-оценка ответов LLM: задача на Python
- Sticky A/B-маршрутизация LLM: задача на Python
- PromptOps: почему хороший промпт требует версий и тестов
- LLM streaming: задержка первого токена и полный ответ
- Расходы на LLM резко выросли: с чего начать проверку
