Что логировать у AI-агента для проверки безопасности
Записывайте решения и реальные действия в объёме, достаточном для расследования, но не складывайте без разбора весь контекст. Журнал сам становится чувствительным хранилищем, если в нём есть секреты и документы пользователей.
Пример из разработки
После спорной отправки команда видит только финальную фразу «готово». Невозможно понять, какой документ выбран, кто разрешил действие и куда оно ушло. Разработчики включают полный дамп промпта и получают другую проблему: личные данные и токены теперь доступны всем читателям логов. Между отсутствием наблюдаемости и бесконтрольным сбором есть более полезный вариант.
Почему это работает
Определите события: субъект и область доступа, источник задачи, имя инструмента, безопасные параметры, решение политики, подтверждение и итог исполнения. Используйте correlation id и ссылки на защищённые записи вместо копирования содержимого. Маскируйте credentials до записи. Для ошибок храните категорию и технические детали в подходящем защищённом канале. Ограничьте права чтения, сроки хранения и возможность изменения журнала. Не путайте объяснение модели о намерениях с подтверждением фактического результата инструмента.
Проверка перед использованием
| Проверка | Ожидаемое поведение |
|---|---|
| Разрешённая отправка документа | По событиям восстанавливаются получатель, согласованный объект, решение доступа и фактический исход без публикации содержимого отчёта. |
| Отклонённая попытка чужого экспорта | Сохраняется проверяемая причина запрета и субъект, но не выдаётся текст закрытых документов в сообщении ошибки. |
| Поиск тестового токена по всем каналам журналирования | Секрет не попал в основной лог, трассировку, запись исключения и внешний сборщик диагностики. |
Проверьте доступ к внешнему сервису сбора трассировок: чувствительные данные иногда уходят туда автоматически. Маскирование только основного журнала не охватывает SDK наблюдаемости и обработчики исключений.
Слишком подробный журнал увеличивает риск и стоимость, слишком короткий мешает расследованию. Состав полей выбирайте от конкретных вопросов проверки и правил обработки данных организации.
Наблюдаемость позволяет проверить, как ограничения LLM работают в реальном процессе, и отличать красивый отказ от предотвращённого действия. В платном курсе LLM Security PRO: Prompt Injection, утечки, tool-abuse можно продолжить изучение соответствующего инженерного направления. Перед покупкой сравните программу и открытые материалы со своей задачей.
Документация для проверки технических деталей: OWASP: журналирование.
Следующий шаг: Безопасность LLM-приложений: практические проверки. По смежным вопросам: Память AI-агента: как не сохранить чужую команду навсегда, Обновили модель LLM: какие проверки безопасности повторить.
