Манифест релиза LLM-приложения: что версионировать кроме промпта

Одинаковый текст промпта может давать разные результаты после изменения модели, индекса, схемы инструмента или параметров извлечения. Запись «промпт версия семь» недостаточна для воспроизводимости инцидента. Выпуск должен связывать весь согласованный комплект поведения.

Начните с зависимостей, которые реально влияют на ответ. Не нужно копировать в манифест все случайные параметры окружения, но нельзя забывать версии данных и политики доступа.

Сравнение состояний

Данные ниже вымышлены: они показывают способ разбора, а не измерения действующего сервиса.

Манифест не доказывает качество сам по себе. Он позволяет связать результат проверки с тем, что действительно развёрнуто. Если после успешного eval незаметно обновился индекс, отчёт относится уже к другому комплекту.

Секреты в манифест не записывают. Достаточно ссылок на конфигурационные профили и идентификаторов версий. Доступ к закрытым данным сохраняет собственные ограничения.

Практические проверки

Соберите манифест кандидата до проверки и сохраните его идентификатор в отчёте. При развёртывании убедитесь, что фактические компоненты совпадают. Затем запишите тот же идентификатор в диагностический контекст запросов.

Проведите учебную регрессию: измените только схему инструмента и проверьте, заметит ли система несоответствие. Подготовьте согласованный комплект для отката, включая совместимость индекса и кодировщика запросов. При расследовании найдите один запрос и восстановите его комплект без ручного опроса всей команды.

Ограничения и риски

Для внешних моделей полная фиксация внутренней реализации может быть недоступна. Сохраняйте доступные идентификаторы и ограничения воспроизводимости. Не обещайте побитового совпадения ответов только благодаря манифесту.

Атрибуты трасс помогают связать запрос с окружением; состав предметного манифеста релиза определяет команда. Официальная документация помогает уточнить технический механизм; предложенный диагностический протокол — наш учебный пример.

Если хотите связать этот разбор с системной практикой, посмотрите программу LLMOps & Evaluation на Latorn: она охватывает контур оценки, версии промптов, мониторинг и выпуск LLM-приложений. Перед оплатой сопоставьте требования курса со своим опытом и задачей проекта.

Следующий шаг: LLMOps: измерение качества, расходы и выпуск изменений. По смежным вопросам: Поток LLM завис после первого токена: какие тайм-ауты нужны кроме TTFT, Откат LLM-релиза: почему старый код может не работать с новым индексом.