Подозрение на утечку через AI-агента: первые технические шаги
Ограничьте продолжающийся канал утечки, сохраните необходимые доказательства и определите затронутые данные. Не начинайте с удаления всей истории: это может уничтожить сведения, нужные для расследования.
Где появляется ошибка
В журнале обнаружили отправку отчёта на неожиданный адрес. Пока неизвестно, действовал ли пользователь осознанно, сработала ли инъекция из документа или неправильно настроен инструмент. Простое сообщение модели «больше так не делай» не блокирует повтор. Отключение всего продукта тоже может быть избыточным, если можно быстро ограничить конкретный tool или получателя.
Рабочее решение
Зафиксируйте время, идентификаторы задач, фактические вызовы, адреса получателей и область раскрытых данных с минимальным доступом к материалам расследования. Временно ограничьте рискованный инструмент или credential в соответствии с полномочиями команды. Если раскрыт ключ, оцените отзыв и замену, а не только очистку ответа. Сопоставьте источник недоверенного текста с моментом принятия решения. Затем проверьте исправление на воспроизводящем синтетическом сценарии и обычной разрешённой задаче.
Контрольные случаи
| Проверка | Ожидаемое поведение |
|---|---|
| Возможен повтор той же отправки | Канал ограничен технически; старая сессия или фоновая задача не продолжают незаметное раскрытие. |
| Нужно установить фактический объём | Сохранены подтверждённые действия и результаты; предположения модели не подменяют сведения внешнего сервиса. |
| Исправление готово к возврату функции | Повторяемая проверка блокирует исходный путь, а допустимый рабочий сценарий проходит под действующей политикой. |
Не перезапускайте спорную операцию на рабочих данных ради воспроизведения. Сначала восстановите последовательность по доказательствам, затем создайте обезличенный сценарий, в котором можно безопасно проверить тот же механизм.
Обязанности уведомления, хранения доказательств и взаимодействия с третьими сторонами зависят от организации и юрисдикции. Здесь описана техническая последовательность, а юридические решения принимает ответственный специалист.
Разбор инцидентов и восстановление безопасного поведения важны для тех, кто отвечает за эксплуатацию LLM-продукта, а не только за демонстрацию. В платном курсе LLM Security PRO: Prompt Injection, утечки, tool-abuse можно продолжить изучение соответствующего инженерного направления. Перед покупкой сравните программу и открытые материалы со своей задачей.
Документация для проверки технических деталей: OWASP: журналирование, OWASP: управление секретами.
Следующий шаг: Безопасность LLM-приложений: практические проверки. По смежным вопросам: Память AI-агента: как не сохранить чужую команду навсегда, Что логировать у AI-агента для проверки безопасности.
