Задачи курса «Data Engineering Fast‑Track: Kafka → Airflow → Spark»

Выберите задачу и проверьте решение прямо на странице. Регистрация не нужна.

• Airflow @once: однократный запуск DAG

  Airflow @once: однократный запуск DAG. Вопрос с проверкой ответа и переходом к практике курса.

• Airflow Variables: конфигурация ключ — значение

  Airflow Variables: конфигурация ключ — значение. Вопрос с проверкой ответа и переходом к практике курса.

• Airflow XCom и Variables: в чём разница

  Airflow XCom и Variables: в чём разница. Вопрос с проверкой ответа и переходом к практике курса.

• Airflow retries и retrydelay: повтор задачи

  Airflow retries и retrydelay: повтор задачи. Вопрос с проверкой ответа и переходом к практике курса.

• Airflow SparkSubmitOperator: запуск Spark-приложения

  Airflow SparkSubmitOperator: запуск Spark-приложения. Вопрос с проверкой ответа и переходом к практике курса.

• SparkSubmitOperator: передать дополнительные JAR

  SparkSubmitOperator: передать дополнительные JAR. Вопрос с проверкой ответа и переходом к практике курса.

• Airflow: где хранить секреты для DAG

  Airflow: где хранить секреты для DAG. Вопрос с проверкой ответа и переходом к практике курса.

• Airflow Variables на верхнем уровне DAG: в чём проблема

  Проверьте, почему чтение Variables и Connections при импорте DAG может мешать работе Airflow. Вопрос с проверкой ответа.

• Spark driver: роль в выполнении приложения

  Spark driver: роль в выполнении приложения. Вопрос с проверкой ответа и переходом к практике курса.

• Spark executors: задачи и хранение данных

  Spark executors: задачи и хранение данных. Вопрос с проверкой ответа и переходом к практике курса.

• Spark DataFrame: распределённая таблица

  Spark DataFrame: распределённая таблица. Вопрос с проверкой ответа и переходом к практике курса.

• Spark Dataset и DataFrame: типизированные данные

  Spark Dataset и DataFrame: типизированные данные. Вопрос с проверкой ответа и переходом к практике курса.

• Spark BroadcastHashJoin: когда его выбирать

  Определите, для какого соединения таблиц подходит BroadcastHashJoin в Spark. Практический вопрос с проверкой ответа.

• Spark skew: как заметить перекос в выполнении

  Одна задача Spark тормозит весь этап. Проверьте, какой признак выполнения указывает на перекос данных. Вопрос с проверкой.

• Delta Lake: почему перестал работать time travel

  Чтение старой версии таблицы перестало работать. Проверьте связь time travel с хранением файлов и обслуживанием таблицы.

• CDC в pandas: идемпотентный MERGE с проверкой

  Реализуйте обработку CDC: latest-wins, вставку, обновление и удаление строк. Задача на pandas с проверкой повторного применения.

• Watermark в оконных агрегатах: проверка понимания

  Проверьте роль watermark при оконной агрегации потока событий: состояние обработки и опаздывающие данные.