Передавайте условия и наблюдения, а не только описание «иногда ломается»
Статьи
Потребуйте доказать, что новая зависимость или обновление необходимы для нужного поведения
Посмотрите, остаётся ли в тесте реальная логика приложения
Сравните исходное требование, независимый пример и изменённое ожидание
Дайте агенту путь от пользовательского действия до нужного обработчика, а не весь репозиторий сразу
Ограничьте изменение наблюдаемым поведением и перечислите допустимые области кода
Как проверить нагрузку LLM с холодным и прогретым кэшем. Уникальные запросы, очередь, стоимость и условия измерений.
Что включить в runbook LLM-инцидента. Сдерживание, сохранение фактов, проверенный откат и разбор остаточных последствий.
Как отличить дрейф запросов от регрессии LLM. Контрольный набор, состав намерений и диагностика корпуса и инструментов.
Почему бюджетный алерт LLM не является жёстким лимитом. Оценка расхода, резервы, параллельные задачи и поздние начисления.
Что маскировать в логах и трассах LLM до экспорта. Минимизация данных, тестовые маркеры и проверка обработчиков ошибок.
Почему короткая очередь LLM-задач может скрывать зависание. Возраст сообщений, активные исполнители и скорость завершения.
Как исследовать хвост задержки LLM, если среднее выглядит нормальным. Процентили, тайм-ауты и время полезного результата.
Почему user_id и request_id создают высокую кардинальность метрик LLM. Как разделить агрегированные labels и подробный аудит.
Как найти пропавший span вызова инструмента LLM. Контекст через очередь, отдельные трассы, sampling и ошибки экспорта.
Как сравнивать варианты LLM в canary-релизе. Состав трафика, устойчивое назначение, критичные срезы и критерии остановки.
Как отличить регрессию LLM от устаревшего эталона. Версии правил, даты действия и пересмотр golden-набора по источникам.
Как версионировать eval-датасет LLM. Эталоны, примеры, срезы и оценщики, без которых сравнение прогонов теряет смысл.
Как перефразы создают утечку в LLM-eval. Смысловые группы, независимые случаи и разделение настройки и контрольной оценки.
Почему компенсация действий AI-агента не равна полному откату. Условия восстановления, внешние эффекты и ручной разбор.
