Как отличить дрейф запросов от регрессии LLM. Контрольный набор, состав намерений и диагностика корпуса и инструментов.
Статьи
Почему бюджетный алерт LLM не является жёстким лимитом. Оценка расхода, резервы, параллельные задачи и поздние начисления.
Что маскировать в логах и трассах LLM до экспорта. Минимизация данных, тестовые маркеры и проверка обработчиков ошибок.
Почему короткая очередь LLM-задач может скрывать зависание. Возраст сообщений, активные исполнители и скорость завершения.
Как исследовать хвост задержки LLM, если среднее выглядит нормальным. Процентили, тайм-ауты и время полезного результата.
Как найти пропавший span вызова инструмента LLM. Контекст через очередь, отдельные трассы, sampling и ошибки экспорта.
Как сравнивать варианты LLM в canary-релизе. Состав трафика, устойчивое назначение, критичные срезы и критерии остановки.
Как отличить регрессию LLM от устаревшего эталона. Версии правил, даты действия и пересмотр golden-набора по источникам.
Как версионировать eval-датасет LLM. Эталоны, примеры, срезы и оценщики, без которых сравнение прогонов теряет смысл.
Как перефразы создают утечку в LLM-eval. Смысловые группы, независимые случаи и разделение настройки и контрольной оценки.
Почему компенсация действий AI-агента не равна полному откату. Условия восстановления, внешние эффекты и ручной разбор.
Как проверить заявление AI-агента «отчёт готов». Наличие файла, содержание, доступ получателя и подтверждённая ссылка.
Как воспроизвести сбой AI-агента без повторной отправки писем. Тестовые исполнители, снимки данных и границы replay.
Как сохранять происхождение фактов из инструментов AI-агента. Источник, версия, область действия и проверка основания решения.
Чем общий дедлайн AI-агента отличается от тайм-аута инструмента. Остаток времени, ожидание очереди и политика завершения.
Как ограничить параллельность AI-агента по системе, пользователю и инструменту. Очередь, справедливость и освобождение квот.
Как разбирать задачи AI-агента в DLQ. Классификация причин, условия возврата и риски массового повторного запуска.
Почему checkpoint AI-агента не откатывает внешние действия. Проверка сбоя после записи и безопасного возобновления шага.
Что делать после тайм-аута записывающего инструмента. Сверка результата, идентификатор операции и защита от повторного действия.
Что проверять между планом AI-агента и исполнением. Предусловия, допустимые операции и пересмотр маршрута после ошибок.
