Задачи курса «Data Engineering Fast‑Track: Kafka → Airflow → Spark»
Выберите задачу и проверьте решение прямо на странице. Регистрация не нужна.
- Kafka в Docker: для чего advertised.listeners
Брокер Kafka запущен, а клиент не подключается. Проверьте, какую роль играют адреса advertised.listeners в Docker Compose.
- Можно ли уменьшить число партиций Kafka
Проверьте, что произойдёт при попытке уменьшить число партиций существующего топика Kafka. Вопрос с проверкой ответа.
- Kafka producer: подтверждение отправки сообщений
Выберите параметр Kafka producer, который управляет подтверждением записи сообщения. Практический вопрос с проверкой.
- Kafka: идемпотентный продюсер и повторная отправка
Проверьте настройку идемпотентного Kafka producer: как избежать дублей при повторе отправки. Вопрос с проверкой ответа.
- Kafka at-least-once: что гарантирует обработка
Разберитесь с гарантией at-least-once в Kafka и выберите верное описание доставки сообщений. Вопрос с проверкой ответа.
- Airflow Variables на верхнем уровне DAG: в чём проблема
Проверьте, почему чтение Variables и Connections при импорте DAG может мешать работе Airflow. Вопрос с проверкой ответа.
- Spark BroadcastHashJoin: когда его выбирать
Определите, для какого соединения таблиц подходит BroadcastHashJoin в Spark. Практический вопрос с проверкой ответа.
- Spark skew: как заметить перекос в выполнении
Одна задача Spark тормозит весь этап. Проверьте, какой признак выполнения указывает на перекос данных. Вопрос с проверкой.
- Delta Lake: почему перестал работать time travel
Чтение старой версии таблицы перестало работать. Проверьте связь time travel с хранением файлов и обслуживанием таблицы.
- CDC в pandas: идемпотентный MERGE с проверкой
Реализуйте обработку CDC: latest-wins, вставку, обновление и удаление строк. Задача на pandas с проверкой повторного применения.
- Watermark в оконных агрегатах: проверка понимания
Проверьте роль watermark при оконной агрегации потока событий: состояние обработки и опаздывающие данные.
