Data Engineering Fast‑Track: Kafka → Airflow → Spark
Практический fast-track по data engineering: за 4–6 недель собираем рабочий конвейер Kafka → Spark → Lakehouse под управлением Airflow. Разберём batch и streaming, окна и watermark, схемы и контракты. Мини‑проекты, Docker Compose, шаблоны DAG и пайплайнов. Курс подойдёт инженерам, аналитикам и тем, кто хочет освоить современные пайплайны данных с уверенным Python.
О курсе
Этот курс — быстрый и практичный вход в инженерию данных. Вместо длинной теории вы сразу собираете рабочий конвейер: источники шлют события в Kafka, Spark их очищает и агрегирует (batch и streaming), результаты складываются в Parquet/Delta/Iceberg, а Airflow следит за расписанием, зависимостями и SLA.
Мы разбираем, как выбирать ключи и партиции в Kafka, как настроить окна и watermark в стриминге, как не утонуть в shuffle и перекосе ключей в Spark, и как избежать «мелких файлов» в озере. В конце у вас будет шаблон проекта: Docker-компоуз, минимальный DAG, стрим из Kafka в таблицу, проверки свежести и сценарий backfill.
Формат: короткая теория → пошаговая инструкция → мини-практика. Всё можно повторить локально: репозиторий с compose-файлами и кодом прилагается.
Вы также можете задать любой вопрос по курсу в telegram @alexey_latorn
Чему научитесь
- Проектировать batch- и streaming-пайплайны обработки данных
- Настраивать Kafka topics, ключи, партиции и схемы сообщений
- Оркестрировать зависимости, расписания, SLA и backfill через Airflow
- Обрабатывать данные в Spark и диагностировать shuffle, skew и мелкие файлы
- Применять окна и watermark в потоковой обработке
- Хранить данные в Parquet и lakehouse-форматах
- Собирать локальный end-to-end конвейер Kafka → Spark → Lakehouse под управлением Airflow
Для кого
- Python-разработчики и аналитики, переходящие в Data Engineering
- Начинающие data-инженеры, которым нужен цельный практический pipeline
- Инженеры, осваивающие Kafka, Airflow и Spark в связке
Формат
- 8 модулей и 29 уроков
- Практический fast-track длительностью примерно 4–6 недель
- Локальная среда на Docker Compose, шаблоны DAG и pipeline-кода
- Итоговый проект объединяет Kafka, Spark, lakehouse и Airflow
Что нужно на старте
- Уверенный базовый Python
- Базовый SQL
- Начальные навыки работы с терминалом, Git и Docker
- Опыт с распределёнными системами не требуется
Автор курса
Алексей Малышкин
Разрабатываю образовательные материалы по программированию, машинному обучению и анализу данных. Темы: Python-разработка, аналитика, ML-инструменты (LangChain, vector databases, AI agents), компьютерное зрение. Стараюсь объяснять технические концепции понятно и структурировано. Ранее преподавал на Stepik и обучил более 2000 студентов. Мой профиль на Stepik - https://stepik.org/users/273781420/profile Мой телеграм для связи @alexey_latorn
