Когда агент не нужен

Свобода выбирать шаги — не бесплатная опция, а обмен. Разберём, чем именно вы платите, и в каких задачах цена оказывается выше пользы.

Цена

Вернёмся к трассе из разобранного прогона: пять вызовов модели там, где цепочка обошлась бы одним. При этом вызовы не равны между собой — на каждой итерации в модель уходит весь накопленный диалог, поэтому пятый запрос заметно длиннее первого.

Считать по токенам мы будем в части курса про эксплуатацию, но порядок величины стоит держать в голове сразу: простая агентная задача обходится в несколько раз дороже прямого вызова, а задача с десятком шагов — на порядок. Плюс время: пять последовательных обращений к модели складываются в секунды ожидания.

Непредсказуемость пути

Модель выбирает шаги заново на каждом запуске. Тот же запрос завтра может пойти другим маршрутом: другой запрос к базе, другое число обращений, другой итоговый текст.

Для отладки это означает, что воспроизвести падение по описанию «агент ответил неправильно» не выйдет — нужна трасса конкретного прогона. Для тестов — что проверять придётся не совпадение с эталонным ответом, а свойства результата: сходил ли агент в нужный инструмент, уложился ли в лимит шагов, есть ли в ответе требуемые поля.

Каждый инструмент — это выданное разрешение

У чат-бота цена ошибки — неудачный текст. У агента ошибка становится действием: отправленным письмом, изменённой строкой в базе, оформленным заказом. Набор инструментов — это ровно тот список того, что агент может сделать не так.

Поэтому необратимые действия либо не отдают агенту вовсе, либо ставят перед ними подтверждение человеком: агент готовит вызов, человек утверждает. Такая схема называется human-in-the-loop и решает большинство страхов вокруг автономности, не отменяя пользы от агента.

Автономность не означает «работает сам»

Ещё одно расхожее противопоставление: чат-бот якобы требует постоянной настройки, а агент функционирует сам по себе. На практике всё наоборот. У агента больше подвижных частей: промпт, описания инструментов, лимиты, поведение внешних систем. Смена версии модели меняет то, какие инструменты она выбирает; отвалившийся сервис заставляет агента ходить по кругу.

Автономность здесь означает только одно: между шагами не нужен человек. Сопровождения агент требует не меньше обычного сервиса, а обычно больше.

Где агент не нужен

Первое: задача с фиксированным регламентом. Начисление процентов, расчёт скидки, проверка документа по списку правил — здесь нужен воспроизводимый результат, который можно предъявить и повторить. Это работа обычного кода, а модель, если и участвует, то на входе — разобрать текст в структуру.

Второе: короткий диалог без действий. Ответить на «как сбросить пароль» — работа чат-бота с поиском по базе знаний. Цикл с инструментами тут просто добавит задержку и стоимость.

Третье: заранее известная последовательность шагов. Если процесс описан как «сделать А, потом Б, потом В», агент лишний: он будет каждый раз заново решать то, что уже решено, и иногда ошибаться в этом.

Четвёртое: среда, где действия запрещены или требуют строгого разграничения прав. Если агенту нельзя дать ни одного инструмента, остаётся модель, отвечающая текстом, — то есть не агент.

Пятое: решения, ответственность за которые несёт человек. Диагноз, отказ в кредите, решение по кандидату. Агент здесь полезен как подготовка материала, но не как последняя инстанция. Показательный случай: Amazon свернул собственный алгоритм отбора резюме, потому что тот занижал оценки женщин, унаследовав перекос из исторических данных найма.

Правило на каждый день

Агент оправдан, когда одновременно верны три вещи: задача требует действий во внешних системах, порядок шагов заранее неизвестен, а последствия ошибки терпимы или прикрыты подтверждением человека. Если хотя бы одно не выполняется, посмотрите сначала на цепочку или на обычный код — почти всегда это дешевле и надёжнее.