LatornLatorn
Войти

Quality Gate для LLM: задача на допуск релиза

Quality gate превращает требования к качеству в проверяемые условия допуска релиза. Важно определить метрики и пороги до сравнения версий, а не выбирать удобные ограничения после получения результата.

В упражнении есть готовый отчёт и правила решения. Реализуйте их точно, включая равенство порогу и сочетание нескольких условий. Реальную модель запускать не нужно: проверяется логика принятия решения.

Это бесплатное упражнение из платного курса. Проверьте решение без регистрации. Объяснения и последовательная практика — в курсе «LLMOps & Evaluation: из песочницы в продакшн».

Задача: Quality Gate для релиза

По отчёту офлайн-оценки решите, можно ли выпускать версию.

Формат ввода

Три строки:

  1. score_threshold — число от 0 до 1 (порог по интегральной метрике).

  2. pass_rate_threshold — число от 0 до 1 (минимальная доля успешных кейсов).

  3. JSON-объект отчёта одной строкой со следующими полями:

{"score": <float 0..1>, "passed": <int>=кол-во успешных>, "failed": <int>=кол-во провалов}

Пояснения:

  • pass_rate вычисляется как passed / (passed + failed). Если passed + failed = 0, считаем pass_rate = 0.

  • Граница включительная: «проходим» если score ≥ score_threshold и pass_rate ≥ pass_rate_threshold.

Формат вывода

Ровно одно слово:

  • PASS — если оба условия выполнены,

  • BLOCKED — иначе.

Ничего больше не печатайте.

РешениеPython

Без регистрации. Гостевая проверка не сохраняет прогресс. Для сохранения перейдите к уроку.

Отправьте решение, чтобы увидеть результаты тестов.

Связанные задачи