Catalogus / назад к курсам
LLM инженерияПродвинутыйPublished

LLM Security PRO: Prompt Injection, утечки, tool-abuse

Практический курс по LLM Security. Запустите локальный RAG/агента на реальном LLM (OpenAI API) и укрепите прод: защита от prompt/indirect injection, утечек и tool-abuse, строгий JSON-вывод (Schema/Pydantic), redaction и лимиты стоимости/циклов. Плюс профессиональные блоки: OWASP LLM Top-10, threat modeling, red-team suite и security-gates в CI/CD.

#stepik-import
LLM Security PRO: Prompt Injection, утечки, tool-abuse

О курсе

Подробнее о курсе

LLM Security PRO — практический курс о том, как защищать RAG-сервисы и AI-агентов в продакшне. Мы не ограничимся “правильными промптами”: вы построите инженерные контуры, которые удерживают систему в рамках безопасности даже тогда, когда модель внушаема, ошибается или сталкивается с “вредными” документами и запросами. Курс построен вокруг локального учебного приложения (RAG + tools + API + UI), которое вы запускаете у себя на компьютере и подключаете к реальному LLM через OpenAI API. Сначала вы увидите типовые провалы (injection, утечки, опасные tool-действия, cost-DoS), затем внедрите контроли: policy-layer, защита RAG-контекста, allowlist/scopes/approvals для инструментов, строгая валидация вывода, redaction и лимиты стоимости. Финал — red-team test suite и security-gates, чтобы регрессы не уезжали в прод. Формат: код и шаблоны на GitHub, сервисы поднимать не нужно. API-ключ хранится только локально. В учебных заданиях используются синтетические данные (без ПДн/секретов). Для кого курс: Python-разработчики, ML/DE инженеры, тимлиды/архитекторы и специалисты AppSec/DevSecOps, которые внедряют LLM в продукт и хотят делать это безопасно и предсказуемо. Вы можете спросить любой вопрос по курсу в телеграмм у автора @alexey_stepik А больше информации о ML/AI/DS вы можете узнать в нашем тгк Data Trends AI & ML P.S. Курс со скидкой 10% можно купить здесь.

Записей
0
Slug
llm-security-pro-prompt-injection-utechki-tool-abuse

Структура курса

Секции и уроки

11 секц.
Секция 1

Старт

2 уроков
Урок 1
Введение в курс
3 шагов
Урок 2
Демо: как агент может ошибиться
3 шагов
Секция 2

Модель угроз для LLM-приложений

3 уроков
Урок 1
Активы и поверхности атаки
6 шагов
Урок 2
Приоритизация: что чинить первым
7 шагов
Урок 3
Политики и “контракт безопасности”
3 шагов
Секция 3

Direct Prompt Injection

3 уроков
Урок 1
Почему промпт не является защитой
5 шагов
Урок 2
Фикс №1: разделение инструкций и данных
6 шагов
Урок 3
Фикс №2: policy layer вне LLM
5 шагов
Секция 4

Indirect Injection через RAG (самый жир)

3 уроков
Урок 1
Почему документы опасны
3 шагов
Урок 2
Фиксы для RAG-контекста
3 шагов
Урок 3
Grounding, цитирование и provenance как защита
3 шагов
Секция 5

Heavy-Hitters и Top-K на потоках

1 уроков
Урок 1
Heap+hash и резервуарная выборка
8 шагов
Секция 6

Tools security (excessive agency)

3 уроков
Урок 1
Почему tools опаснее текста
5 шагов
Урок 2
Allowlist и валидация параметров инструментов
9 шагов
Урок 3
Scopes и approvals
7 шагов
Секция 7

Insecure Output Handling

3 уроков
Урок 1
Почему нельзя доверять JSON/SQL/URL от модели
9 шагов
Урок 2
Строгий структурированный вывод
8 шагов
Урок 3
Санитайзеры и запрет "склейки строк"
6 шагов
Секция 8

Leakage: секреты, ПДн, корпоративные данные

3 уроков
Урок 1
Что такое утечка в LLM-системах
7 шагов
Урок 2
Redaction и политика логов
5 шагов
Урок 3
Минимизация данных и "privacy by design"
6 шагов
Секция 9

Cost-DoS, циклы, надёжность как security

3 уроков
Урок 1
Как "кладут" LLM-приложения по бюджету
7 шагов
Урок 2
Лимиты и stop conditions
5 шагов
Урок 3
Rate limit, quotas, circuit breaker
6 шагов
Секция 10

Security testing, релизные гейты и РФ-чеклист

3 уроков
Урок 1
Red-team suite: как тестировать безопасность LLM-приложения
5 шагов
Урок 2
Security gate в CI/CD
5 шагов
Урок 3
РФ-модуль "по минимуму": что помнить, чтобы не встрять
6 шагов
Секция 11

Финальный проект

1 уроков
Урок 1
Защищаем LLM-агента
5 шагов
Поддержка