Секция 1
Введение в Data Engineering
Модуль уже открыт
Урок 1
Введение в курс
Урок 2
Роль инженера данных
Урок 3
Обзор инструментов: Kafka, Airflow, Spark
Урок 4
Среда разработки и инструменты
Каталог/назад к курсам
Data ScienceНачальный
Data Engineering Fast‑Track: Kafka → Airflow → Spark
Практический fast-track по data engineering: за 4–6 недель собираем рабочий конвейер Kafka → Spark → Lakehouse под управлением Airflow. Разберём batch и streaming, окна и watermark, схемы и контракты. Мини‑проекты, Docker Compose, шаблоны DAG и пайплайнов. Курс подойдёт инженерам, аналитикам и тем, кто хочет освоить современные пайплайны данных с уверенным Python.
Свободный темп обучения
8 модулей • 29 уроков
16 учащихся
#stepik-import
Описание
Этот курс — быстрый и практичный вход в инженерию данных. Вместо длинной теории вы сразу собираете рабочий конвейер: источники шлют события в Kafka, Spark их очищает и агрегирует (batch и streaming), результаты складываются в Parquet/Delta/Iceberg, а Airflow следит за расписанием, зависимостями и SLA.
Мы разбираем, как выбирать ключи и партиции в Kafka, как настроить окна и watermark в стриминге, как не утонуть в shuffle и перекосе ключей в Spark, и как избежать «мелких файлов» в озере. В конце у вас будет шаблон проекта: Docker-компоуз, минимальный DAG, стрим из Kafka в таблицу, проверки свежести и сценарий backfill.
Формат: короткая теория → пошаговая инструкция → мини-практика. Всё можно повторить локально: репозиторий с compose-файлами и кодом прилагается.
Вы также можете задать любой вопрос по курсу в telegram @alexey_latorn
Автор курса
Алексей Малышкин
Разрабатываю образовательные материалы по программированию, машинному обучению и анализу данных. Темы: Python-разработка, аналитика, ML-инструменты (LangChain, vector databases, AI agents), компьютерное зрение. Стараюсь объяснять технические концепции понятно и структурировано. Ранее преподавал на Stepik и обучил более 2000 студентов.
Программа
Секция 2
Apache Kafka — основы
Модуль уже открыт
Урок 1
Архитектура и ключевые понятия Kafka
Урок 2
Развёртывание и конфигурация Kafka
Урок 3
Управление топиками и партициями
Урок 4
Продюсеры и консюмеры
Секция 3
Apache Kafka — продвинутые темы
Модуль уже открыт
Урок 1
Модели доставки и группы консюмеров
Урок 2
Streams API
Урок 3
Connect API
Урок 4
Тюнинг и масштабирование Kafka
Секция 4
Apache Airflow — основы
Модуль уже открыт
Урок 1
Концепция DAG и организация кодовой базы
Урок 2
Операторы и сенсоры
Урок 3
Планирование и параметры DAG
Урок 4
Переменные, подключения и XCom
Секция 5
Apache Airflow — продвинутые возможности
Модуль уже открыт
Урок 1
Управление зависимостями и надёжность
Урок 2
Пользовательские операторы, сенсоры и плагины в Airflow
Урок 3
Интеграция Airflow с внешними сервисами
Урок 4
Мониторинг, интерфейс Airflow и best practices
Секция 6
Apache Spark — основы
Модуль уже открыт
Урок 1
Архитектура Apache Spark и RDD
Урок 2
Spark SQL, DataFrame и Dataset
Урок 3
Join’ы и перекос данных: производительность без магии
Урок 4
Lakehouse с Delta/Iceberg: upsert, compaction, time-travel
Секция 7
Apache Spark — потоковая обработка и интеграция с Kafk
Модуль уже открыт
Урок 1
Введение в Structured Streaming
Урок 2
Чтение и запись данных из Kafka
Урок 3
Оконные операции и управление временем
Урок 4
Stateful-операции и stream-static join
Секция 8
Проектный модуль: end‑to‑end пайплайн
Модуль уже открыт
Урок 1
Итоговый проект: построение пайплайна
