Spark: driver, executors, RDD и DataFrame — тест
Что происходит на драйвере, что выполняют executors и чем DataFrame отличается от RDD? Пять вопросов помогут проверить эти различия перед работой с распределённым приложением Spark.
Как проходить
Начните с ролей процессов, затем сравните структуры данных. Не переносите свойства локальной таблицы на весь кластер: данные разделены между рабочими процессами. В вопросе про Dataset обратите внимание на языки, в которых доступен типизированный API.
Задания
- Spark driver: роль в выполнении приложения.
- Spark executors: задачи и хранение данных.
- Spark RDD: распределение и восстановление данных.
- Spark DataFrame: распределённая таблица.
- Spark Dataset и DataFrame: типизированные данные.
После отдельных вопросов можно перейти к последовательной практике в курсе Data Engineering Fast‑Track: Kafka → Airflow → Spark. Посмотрите программу и доступные пробные уроки, чтобы выбрать следующий шаг.
- Spark driver: роль в выполнении приложения
Spark driver: роль в выполнении приложения. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark - Spark executors: задачи и хранение данных
Spark executors: задачи и хранение данных. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark - Spark RDD: распределение и восстановление данных
Spark RDD: распределение и восстановление данных. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark - Spark DataFrame: распределённая таблица
Spark DataFrame: распределённая таблица. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark - Spark Dataset и DataFrame: типизированные данные
Spark Dataset и DataFrame: типизированные данные. Вопрос с проверкой ответа и переходом к практике курса.
Data Engineering Fast‑Track: Kafka → Airflow → Spark
