Airflow: DAG, расписание, retries и XCom — практика
DAG описывает порядок работы, но его ещё нужно запустить по расписанию, ограничить параллельные запуски и обработать ошибки. Здесь вопросы про повседневные настройки Airflow: от зависимостей до передачи результатов между задачами.
Как проходить
Сначала проверьте границы применения Airflow и структуру DAG. Затем разберите расписание, повторные попытки и конфигурацию. Вопрос про @once использует синтаксис Airflow 2; на странице задания есть уточнение о параметре schedule в новых версиях. Последние вопросы посвящены запуску Spark и хранению секретов.
Задания
- Airflow в пайплайне: оркестрация или обработка.
- Подходит ли Airflow для реакции за миллисекунды.
- Airflow: цикл зависимостей в DAG.
- Airflow Sensor: ожидание условия и рабочий слот.
- Airflow cron: запуск каждый день в 3:30.
- Airflow max_active_runs: ограничение запусков DAG.
- Airflow @once: однократный запуск DAG.
- Airflow Variables: конфигурация ключ — значение.
- Airflow XCom и Variables: в чём разница.
- Airflow retries и retry_delay: повтор задачи.
- Airflow SparkSubmitOperator: запуск Spark-приложения.
- SparkSubmitOperator: передать дополнительные JAR.
- Airflow: где хранить секреты для DAG.
После отдельных вопросов можно перейти к последовательной практике в курсе Data Engineering Fast‑Track: Kafka → Airflow → Spark. Посмотрите программу и доступные пробные уроки, чтобы выбрать следующий шаг.
- Airflow в пайплайне: оркестрация или обработка
Airflow в пайплайне: оркестрация или обработка. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark - Подходит ли Airflow для реакции за миллисекунды
Подходит ли Airflow для реакции за миллисекунды. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark - Airflow: цикл зависимостей в DAG
Airflow: цикл зависимостей в DAG. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark - Airflow Sensor: ожидание условия и рабочий слот
Airflow Sensor: ожидание условия и рабочий слот. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark - Airflow cron: запуск каждый день в 3:30
Airflow cron: запуск каждый день в 3:30. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark - Airflow maxactiveruns: ограничение запусков DAG
Airflow maxactiveruns: ограничение запусков DAG. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark - Airflow @once: однократный запуск DAG
Airflow @once: однократный запуск DAG. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark - Airflow Variables: конфигурация ключ — значение
Airflow Variables: конфигурация ключ — значение. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark - Airflow XCom и Variables: в чём разница
Airflow XCom и Variables: в чём разница. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark - Airflow retries и retrydelay: повтор задачи
Airflow retries и retrydelay: повтор задачи. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark - Airflow SparkSubmitOperator: запуск Spark-приложения
Airflow SparkSubmitOperator: запуск Spark-приложения. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark - SparkSubmitOperator: передать дополнительные JAR
SparkSubmitOperator: передать дополнительные JAR. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark - Airflow: где хранить секреты для DAG
Airflow: где хранить секреты для DAG. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark
