Airflow Variables на верхнем уровне DAG: в чём проблема

DAG ещё не запустился, а его файл уже выполняет Python-код при разборе. Вопрос о том, что происходит, если в этот момент получать Variables и Connections.

Продолжить практику с Kafka, Airflow и Spark можно в платном курсе Data Engineering Fast-Track.

Почему не следует обращаться к Airflow Variables или Connections на верхнем уровне файла DAG?

Выберите один вариантЭто приведёт к автоматическому чтению секретов и нарушит безопасность. Планировщик может замедлиться, так как доступ к базе данных должен происходить в момент выполнения задач, а не при импорте DAG‑файлаПеременные и Connections доступны только в тестовой среде. Они автоматически сериализуются и могут повредить мета‑базу.

Без регистрации · результат не сохраняется

Связанные задачи