Качество LLM упало без релиза: как отличить дрейф запросов от поломки модели

Вчера пользователи спрашивали простые правила, сегодня пришли вопросы с несколькими условиями. Общая оценка упала, хотя код и промпт не менялись. Это может быть изменение состава запросов, обновление документов, внешний сбой или реальная регрессия модели. Один средний показатель не различает причины.

Сравнивайте качество внутри устойчивых категорий и на закреплённом контрольном наборе. Разделяйте изменение долей сценариев и изменение результата на одинаковом сценарии.

Сравнение состояний

Данные ниже вымышлены: они показывают способ разбора, а не измерения действующего сервиса.

Таблица задаёт направления проверки, а не автоматический диагноз. Контрольный набор может устареть, а классификатор намерений — ошибаться. Поэтому результаты нужно связать с конкретными примерами и версиями зависимостей.

Отдельно проверяйте долю неоценённых ответов. Если после сбоя оценщика исчезли сложные случаи, качество может искусственно вырасти и скрыть проблему.

Практические проверки

Сохраните обезличенную выборку неудачных запросов и сопоставьте её с прошлым периодом по типу намерения, длине, языку и источнику. Затем прогоните закреплённый набор на текущем контуре. Проверьте доступность документов и внешних инструментов.

Если вырос новый класс вопросов, добавьте его в набор разработки и создайте отдельный контроль до настройки решения. Не переписывайте промпт вслепую под несколько жалоб. Сначала определите сломанный этап и ожидаемый результат. После исправления проверьте прежние сценарии, чтобы лечение нового трафика не создало регрессию старого.

Ограничения и риски

Сдвиг распределения не означает, что продукту не нужно меняться. Он объясняет причину и помогает выбрать решение. Внешнюю модель не всегда удаётся полностью зафиксировать, поэтому ограничения наблюдения отражают в отчёте.

Оценку можно проводить на закреплённых данных и текущих примерах; различие составов нужно учитывать при сравнении. Официальная документация помогает уточнить технический механизм; предложенный диагностический протокол — наш учебный пример.

Если хотите связать этот разбор с системной практикой, посмотрите программу LLMOps & Evaluation на Latorn: она охватывает контур оценки, версии промптов, мониторинг и выпуск LLM-приложений. Перед оплатой сопоставьте требования курса со своим опытом и задачей проекта.

Следующий шаг: LLMOps: измерение качества, расходы и выпуск изменений. По смежным вопросам: Эталонный набор LLM устарел: как отличить регрессию от нового правила, Тайм-ауты в LLM-eval: как не улучшить метрику удалением неудачных ответов.