LatornLatorn
Войти

Data Engineering: диагностика Kafka, Airflow, Spark и CDC

Продюсер не подключается к брокеру, DAG тормозит ещё до запуска, а одна задача Spark задерживает всю стадию. Такие симптомы требуют разных проверок: смена ресурса или повторный запуск без понимания причины могут не помочь.

Разберите адреса Kafka, подтверждения записи, идемпотентность продюсера и доставку с повторами. Затем перейдите к разбору DAG, выбору join, перекосу Spark, хранению истории Delta и водяному знаку потока. Задача на pandas связывает повторы пакета CDC с идемпотентной записью.

В вопросах выберите подходящую настройку или объяснение. В задаче на код обе таблицы уже переданы аргументами: разворачивать Kafka, Airflow, Spark или внешнюю базу не нужно.

Задачи с проверкой

  1. Kafka в Docker: для чего advertised.listeners
  2. Можно ли уменьшить число партиций Kafka
  3. Kafka producer: подтверждение отправки сообщений
  4. Kafka: идемпотентный продюсер и повторная отправка
  5. Kafka at-least-once: что гарантирует обработка
  6. Airflow Variables на верхнем уровне DAG: в чём проблема
  7. Spark BroadcastHashJoin: когда его выбирать
  8. Spark skew: как заметить перекос в выполнении
  9. Delta Lake: почему перестал работать time travel
  10. CDC в pandas: идемпотентный MERGE с проверкой
  11. Watermark в оконных агрегатах: проверка понимания

Продолжите работу над проектом

Откройте программу платного курса «Data Engineering Fast-Track: Kafka, Airflow, Spark». Выберите раздел под свою задачу и продолжите практику в системной программе.

Если сначала нужен разбор повторной загрузки, прочитайте, как привязать Airflow backfill к data interval и избежать дублей. Затем переходите к задаче об идемпотентном применении CDC.