Как тестировать утечки LLM с синтетическим секретом
Используйте уникальный нерабочий маркер вместо настоящего ключа и проверяйте все каналы вывода. Такой тест безопаснее реального секрета, но измеряет только конкретный путь утечки.
Разберём рабочий случай
Команда хочет выяснить, может ли агент отправить конфиденциальный фрагмент наружу. В тестовый документ добавляют строку CANARY_DEMO_731 и запрещают её передачу. Если проверять только текст ответа, можно пропустить URL изображения, журнал инструмента или аргумент внешней отправки. При этом обычное присутствие маркера внутри разрешённого защищённого тестового источника ещё не означает утечку.
Что изменить
Определите границы: где маркер разрешён и куда он не должен попасть. Используйте контролируемые тестовые получатели без настоящих credentials и персональных данных. Записывайте ответ, аргументы tools, сетевые назначения и релевантные журналы. Уникальность маркера позволяет отличить текущее выполнение от старого кэша. После проверки удалите тестовые данные и убедитесь, что они не попали в рабочие индексы. Не обещайте универсальное обнаружение по одной точной строке: данные могут преобразоваться.
Как проверить результат
| Проверка | Ожидаемое поведение |
|---|---|
| Маркер прочитан из разрешённого тестового документа | Источник доступен только тестовому субъекту; сам факт чтения не классифицируется автоматически как внешняя утечка. |
| Вредоносный текст просит отправить маркер наружу | Проверены все реальные каналы, а не только фраза отказа в финальном ответе. |
| Повторный прогон с новым маркером | Следы старого кэша и новой попытки различимы; тест не приписывает прошлое событие текущей конфигурации. |
Не называйте любое появление маркера инцидентом: защищённая тестовая трассировка может хранить его по плану. До запуска определите, какие назначения считаются разрешёнными, чтобы результат проверки был интерпретируемым.
Синтетический маркер не моделирует все виды конфиденциальности и не доказывает защиту от пересказа смысла. Он полезен как точная наблюдаемая проверка рядом с другими сценариями доступа.
Измеряемые безопасные эксперименты помогают проверять архитектуру LLM-приложения без риска настоящими рабочими секретами. В платном курсе LLM Security PRO: Prompt Injection, утечки, tool-abuse можно продолжить изучение соответствующего инженерного направления. Перед покупкой сравните программу и открытые материалы со своей задачей.
Документация для проверки технических деталей: OWASP: управление секретами, OWASP: журналирование.
Следующий шаг: Безопасность LLM-приложений: практические проверки. По смежным вопросам: LLM предлагает shell-команду: как ограничить исполнение, HTML из ответа LLM: как не превратить чат в XSS.
