Проверяйте не только совпадение изображения, но и сценарии взаимодействия
Статьи
Передавайте текущее состояние, проверенные факты и следующий проверяемый шаг
Разделите рабочие каталоги и согласуйте контракты до параллельного изменения
Запишите наблюдаемый контракт до изменения внутреннего устройства: входы, выходы, ошибки и значимые побочные эффекты
Передавайте условия и наблюдения, а не только описание «иногда ломается»
Потребуйте доказать, что новая зависимость или обновление необходимы для нужного поведения
Посмотрите, остаётся ли в тесте реальная логика приложения
Сравните исходное требование, независимый пример и изменённое ожидание
Дайте агенту путь от пользовательского действия до нужного обработчика, а не весь репозиторий сразу
Как проверить нагрузку LLM с холодным и прогретым кэшем. Уникальные запросы, очередь, стоимость и условия измерений.
Что включить в runbook LLM-инцидента. Сдерживание, сохранение фактов, проверенный откат и разбор остаточных последствий.
Как отличить дрейф запросов от регрессии LLM. Контрольный набор, состав намерений и диагностика корпуса и инструментов.
Почему бюджетный алерт LLM не является жёстким лимитом. Оценка расхода, резервы, параллельные задачи и поздние начисления.
Что маскировать в логах и трассах LLM до экспорта. Минимизация данных, тестовые маркеры и проверка обработчиков ошибок.
Почему короткая очередь LLM-задач может скрывать зависание. Возраст сообщений, активные исполнители и скорость завершения.
Как исследовать хвост задержки LLM, если среднее выглядит нормальным. Процентили, тайм-ауты и время полезного результата.
Как найти пропавший span вызова инструмента LLM. Контекст через очередь, отдельные трассы, sampling и ошибки экспорта.
Как сравнивать варианты LLM в canary-релизе. Состав трафика, устойчивое назначение, критичные срезы и критерии остановки.
Как отличить регрессию LLM от устаревшего эталона. Версии правил, даты действия и пересмотр golden-набора по источникам.
Как версионировать eval-датасет LLM. Эталоны, примеры, срезы и оценщики, без которых сравнение прогонов теряет смысл.
