LLM Security: тест на prompt injection и защиту инструментов
Разберите, где заканчивается текстовая инструкция модели и начинается обязательная серверная проверка. Подборка посвящена контролю действий агента: какие инструменты разрешены, какие значения допустимы и кто имеет право выполнить операцию.
Как работать с вопросами
Сначала определите источник недоверенного текста. Затем найдите границу, на которой приложение должно проверить права и параметры независимо от ответа модели. В задаче про удаление файлов учитывайте реальное действие, а не только формулировку промпта.
Blacklist и строгая схема решают ограниченные задачи. Список запрещённых слов может блокировать обычный запрос, а валидный JSON не доказывает наличие полномочий. Для каждого упражнения выберите механизм, который действительно контролирует рассматриваемый риск.
Упражнения
- Direct prompt injection: почему инструкции пользователя опасны
- Blacklist против prompt injection: ложные срабатывания
- Allowlist инструментов LLM-агента: задача на права
- JSON Schema additionalProperties false: проверка tool arguments
- LLM-агент удаляет файлы: как ограничить опасное действие
- LLM tool calling: ограничение limit в аргументах
Каждое упражнение проверяется без регистрации. Полная программа соответствующего курса доступна по ссылке на странице задачи.
- Direct prompt injection: почему инструкции пользователя опасны
Разберите смешение доверенных инструкций и пользовательских данных. Задача по безопасности LLM с проверкой ответа.
LLM Security PRO: Prompt Injection, утечки, tool-abuse - Blacklist против prompt injection: ложные срабатывания
Почему блокировка отдельных слов мешает обычным вопросам? Разберите пример фильтра LLM-ввода и проверьте ответ.
LLM Security PRO: Prompt Injection, утечки, tool-abuse - Allowlist инструментов LLM-агента: задача на права
Проверьте понимание фиксированного списка разрешённых инструментов агента. Бесплатное упражнение по LLM Security.
LLM Security PRO: Prompt Injection, утечки, tool-abuse - JSON Schema additionalProperties false: проверка tool arguments
Разберите запрет лишних полей в аргументах инструмента LLM. Практическая задача с проверкой ответа.
LLM Security PRO: Prompt Injection, утечки, tool-abuse - LLM-агент удаляет файлы: как ограничить опасное действие
Выберите безопасную архитектуру удаления файлов через ассистента. Задача на авторизацию и проверку действий LLM.
LLM Security PRO: Prompt Injection, утечки, tool-abuse - LLM tool calling: ограничение limit в аргументах
Агент пытается выгрузить слишком много данных. Определите, какая проверка параметров остановит вызов инструмента.
LLM Security PRO: Prompt Injection, утечки, tool-abuse
