Безопасность LLM-приложений: практические проверки

Разборы помогают проверять конкретные границы LLM-системы: недоверенный текст, доступ к ресурсам и исполнение инструментов. Используйте вымышленные данные и локальные стенды. Проверяйте и запрет опасного действия, и возможность выполнить обычную разрешённую задачу.

Как пользоваться разборами

Выберите вопрос, совпадающий с вашей задачей. Внутри есть учебный пример, способ проверки и границы применимости. Воспроизведите пример на небольших безопасных данных, затем измените одно условие и сравните результат. Если проблема относится к нескольким этапам, проверяйте их по очереди.

Разборы 1–5

• Ответ инструмента просит вызвать другой tool: кто принимает решение. Результат инструмента должен сообщать данные о выполненной операции.

• Почему read-only SQL для LLM ещё может раскрывать данные. Запрет записи защищает от части изменений базы, но не ограничивает чтение чужих строк и чувствительных столбцов.

• LLM предлагает shell-команду: как ограничить исполнение. Предпочитайте узкие операции с фиксированными аргументами произвольной командной строке.

• HTML из ответа LLM: как не превратить чат в XSS. Считайте сгенерированный HTML недоверенным вводом.

• Агент читает URL: как закрыть SSRF в инструменте загрузки. Проверяйте адрес назначения и сетевой доступ на стороне загрузчика.

Разборы 6–10

• Картинки в Markdown-ответе AI: как они могут утекать данные. Автоматическая загрузка внешнего изображения может отправить сетевой запрос до осознанного действия пользователя.

• Почему API-ключ нельзя хранить в системном промпте. Секрет должен оставаться в доверенной части приложения, которая выполняет разрешённую операцию.

• Память AI-агента: как не сохранить чужую команду навсегда. Не записывайте выводы из внешнего текста в долговременные правила без проверки происхождения и области действия.

• Защита LLM всё запрещает: как измерить ложные отказы. Проверяйте защиту одновременно на опасных и допустимых задачах.

• Обновили модель LLM: какие проверки безопасности повторить. Повторите критические сценарии доступа и действий на той же версии приложения.

Разборы 11–15

• Как тестировать утечки LLM с синтетическим секретом. Используйте уникальный нерабочий маркер вместо настоящего ключа и проверяйте все каналы вывода.

• Подозрение на утечку через AI-агента: первые технические шаги. Ограничьте продолжающийся канал утечки, сохраните необходимые доказательства и определите затронутые данные.

• Что логировать у AI-агента для проверки безопасности. Записывайте решения и реальные действия в объёме, достаточном для расследования, но не складывайте без разбора весь контекст.

• Файлы для AI-помощника: какие лимиты нужны до отправки модели. Проверяйте и ограничивайте файл до извлечения текста и передачи в модель.

• CSV из ответа AI открывает формулы: как проверить экспорт. Проверяйте недоверенные ячейки как данные для целевого табличного редактора.

Разборы 16–20

• AI загружает ZIP: как не распаковать файл за пределы каталога. Проверяйте путь каждого элемента архива до записи и ограничивайте сам исполнитель.

• Файловый tool AI и symlink: почему префикса пути недостаточно. Символическая ссылка может вести из разрешённого каталога наружу, хотя видимая строка пути начинается правильно.

• Checkpoint AI в pickle: почему нельзя загружать чужой файл состояния. Не десериализуйте недоверенный pickle ради восстановления AI-задачи.

• XML для RAG: как внешние сущности могут обойти границы загрузчика. Настройте XML-парсер на обработку недоверенных данных до передачи текста модели.

• AI генерирует имя скачиваемого файла: как безопасно задать заголовок. Не собирайте HTTP-заголовок скачивания конкатенацией недоверенного имени.

Когда переходить к системной программе

Если отдельные статьи показывают повторяющиеся пробелы, сравните программу соответствующего платного курса Latorn со своей подготовкой и задачами. Этот навигатор подготовлен самой платформой. Статьи помогают разобраться с частными вопросами; наличие примера не означает обещания готового промышленного проекта или профессионального результата.