Мы строим Data Lake House платформу с современным стеком:
S3, Trino, Apache Iceberg, DBT, Airflow, Kafka, Clickhouse.
Обязанности:
- реализация в тандеме с архитектором физического уровня архитектуры данных в DWH для всех слоев (raw data layer, core data layer, data mart layer);
- реализация ETL-пайплайнов передачи данных из различных внутренних и внешних ИТ-систем, используя разные подходы получения данных из источника;
- построение эффективной системы оркестрации ETL-пайплайнов обеспечивающей обновление данных в DWH согласно обозначенным бизнес требованиям;
- реализация и поддержка прикладных решений для контроля качества данных в DWH;
- реализация и поддержка прикладных решений для управления метаданными DWH;
- участие в R&D для выбора инструментов для построение отдельных частей платформы данных.
Требования:
- базовые навыки в области инженерии данных;
- системное аналитическое инженерное мышление;
- умеренный перфекционизм и внимание к деталям;
- понимание концепций проектирования DWH;
- продвинутый уровень знания SQL;
- высокий уровень владения Python для обработки данных;
- опыт работы с оркестраторами и понимание концепции DAG;
- опыт разработки и поддержки end-to-end пайплайнов данных;
- опыт получения данных из различных типов API;
- опыт работы с потоковой обработкой данных;
Условия:
- график работы: на испытательном сроке офис 5/2, далее гибрид;
- ежегодная индексация зарплаты, компенсация питания, премии по результатам работы, доплаты за больничный, материальная помощь в сложных ситуациях;
- релокация из любой точки мира.
