LatornLatorn
Войти
Каталог/назад к курсам
LLM Security PRO: Prompt Injection, утечки, tool-abuse
LLM инженерияПродвинутый

LLM Security PRO: Prompt Injection, утечки, tool-abuse

Практический курс по LLM Security. Запустите локальный RAG/агента на реальном LLM (OpenAI API) и укрепите прод: защита от prompt/indirect injection, утечек и tool-abuse, строгий JSON-вывод (Schema/Pydantic), redaction и лимиты стоимости/циклов. Плюс профессиональные блоки: OWASP LLM Top-10, threat modeling, red-team suite и security-gates в CI/CD.

Автор — Алексей Малышкинобновлён 10 октября 2026

11 модулей • 28 уроков114 заданий с проверкойоколо 30 ч
Код в браузере: PythonРазбор преподавателемСвободный темпСертификат с проверкой

Программы обучения

Входит в 1 программу

Этот курс можно пройти отдельно или в составе одной из программ.

AI Agent Engineer: Production TrackАлексей Малышкин6 курсов39 990 ₽

О курсе

LLM Security PRO — практический курс о том, как защищать RAG-сервисы и AI-агентов в продакшне. Мы не ограничимся “правильными промптами”: вы построите инженерные контуры, которые удерживают систему в рамках безопасности даже тогда, когда модель внушаема, ошибается или сталкивается с “вредными” документами и запросами.

Курс построен вокруг локального учебного приложения (RAG + tools + API + UI), которое вы запускаете у себя на компьютере и подключаете к реальному LLM через OpenAI API. Сначала вы увидите типовые провалы (injection, утечки, опасные tool-действия, cost-DoS), затем внедрите контроли: policy-layer, защита RAG-контекста, allowlist/scopes/approvals для инструментов, строгая валидация вывода, redaction и лимиты стоимости. Финал — red-team test suite и security-gates, чтобы регрессы не уезжали в прод.

Формат: код и шаблоны на GitHub, сервисы поднимать не нужно. API-ключ хранится только локально. В учебных заданиях используются синтетические данные (без ПДн/секретов).

Для кого курс: Python-разработчики, ML/DE инженеры, тимлиды/архитекторы и специалисты AppSec/DevSecOps, которые внедряют LLM в продукт и хотят делать это безопасно и предсказуемо.

Вы можете спросить любой вопрос по курсу в телеграмм у автора @alexey_latorn

Чему научитесь

  • Строить модель угроз для RAG-сервиса и AI-агента
  • Защищаться от direct и indirect prompt injection
  • Ограничивать полномочия инструментов через allowlist, scopes и подтверждения
  • Валидировать структурированный вывод и безопасно обрабатывать ответы модели
  • Предотвращать утечки секретов и персональных данных с помощью redaction
  • Ограничивать стоимость, число шагов и циклы агентной системы
  • Собирать red-team suite и security-гейты для CI/CD

Для кого

  • Python- и LLM-разработчики, создающие RAG-сервисы и AI-агентов
  • ML/DE-инженеры и архитекторы, отвечающие за безопасный AI-контур
  • Специалисты AppSec и DevSecOps, осваивающие угрозы LLM-приложений

Формат

  • 12 модулей и 30 уроков
  • Локальное учебное приложение с RAG, tools, API и UI
  • Практика на синтетических данных без реальных секретов и персональных данных
  • Финальный результат — red-team набор и автоматические security-гейты

Что нужно на старте

  • Уверенный базовый Python
  • Понимание API, LLM и принципов RAG
  • Умение запускать локальный Python-проект и работать с Git
  • Для части практики понадобится собственный API-ключ LLM-провайдера
#stepik-import

Автор курса

Алексей Малышкин

Разрабатываю образовательные материалы по программированию, машинному обучению и анализу данных. Темы: Python-разработка, аналитика, ML-инструменты (LangChain, vector databases, AI agents), компьютерное зрение. Стараюсь объяснять технические концепции понятно и структурировано. Ранее преподавал на Stepik и обучил более 2000 студентов. Мой профиль на Stepik - https://stepik.org/users/273781420/profile Мой телеграм для связи @alexey_latorn

Программа

01Старт2 урока
1Введение в курс
2Демо: как агент может ошибиться
02Модель угроз для LLM-приложений3 урока
1Активы и поверхности атакипробный
2Приоритизация: что чинить первым
3Политики и “контракт безопасности”
03Direct Prompt Injection3 урока
1Почему промпт не является защитой
2Фикс №1: разделение инструкций и данных
3Фикс №2: policy layer вне LLM
04Indirect Injection через RAG (самый жир)3 урока
1Почему документы опасны
2Фиксы для RAG-контекста
3Grounding, цитирование и provenance как защита
05Heavy-Hitters и Top-K на потоках1 урок
1Heap+hash и резервуарная выборка
06Tools security (excessive agency)3 урока
1Почему tools опаснее текстапробный
2Allowlist и валидация параметров инструментов
3Scopes и approvals
07Insecure Output Handling3 урока
1Почему нельзя доверять JSON/SQL/URL от модели
2Строгий структурированный вывод
3Санитайзеры и запрет "склейки строк"
08Leakage: секреты, ПДн, корпоративные данные3 урока
1Что такое утечка в LLM-системахпробный
2Redaction и политика логов
3Минимизация данных и "privacy by design"
09Cost-DoS, циклы, надёжность как security3 урока
1Как "кладут" LLM-приложения по бюджету
2Лимиты и stop conditions
3Rate limit, quotas, circuit breaker
10Security testing, релизные гейты и РФ-чеклист3 урока
1Red-team suite: как тестировать безопасность LLM-приложения
2Security gate в CI/CD
3РФ-модуль "по минимуму": что помнить, чтобы не встрять
11Финальный проект1 урок
1Защищаем LLM-агента
Дополнительные материалы и практика

Задачи

Все задачи курса

Уроки