Data Engineer

«Детмир Тех» — команда, развивающая цифровую экосистему группы компаний «Детский мир». Делаем продукты для миллионов клиентов и сервисы, которые помогают бизнесу работать быстрее.

Нашему будущему коллеге предстоит работать над развитием Big Data Platform (hadoop + tooling in k8s) , которое является основным источником данных для всей группы компаний.

Мы ищем эксперта с высокой ролью ответственности, умеющего самостоятельно и в команде принимать решение по архитектуре и реализации.

Чем предстоит заниматься:

• Проектирование, разработка и поддержка витрины данных

• Разработка алгоритмов выгрузки, обработки, хранения данных (ETL) из разных систем, интеграция с внешними системами

• Автоматизация процессов обновления данных

• Разработка правил и процедур контроля качества данных

• Помогать коллегам DA и DS

• Техническая поддержка наших инструментов

• Разворачивание helm chart

• Сборка docker образов

• Продуктивизация моделей машинного обучения от команды DS

Что ожидаем от вас:

• Знания SQL

• Понимание жизненного цикла разработки ПО, культуры CI/CD

• Опыт создания и оптимизации Spark batch jobs

• Опыт разработки на Java (kotlin) Spring Service

• опыт работы с Airflow, умение создавать DAG'и, состоящие из Task и Sensor

• Отличное понимание устройства и принципов проектирования БД

• Опыт участия в проектах построения DWH и Data Lake в роли ETL-разработчика – от 3 лет

• Умение писать чистый поддерживаемый код и техническую документацию

• Опыт работы с Docker

Будет плюсом:

• Понимание технологий DevOps, опыт работы с CI/CD-инструментами.

• Опыт работы с Hadoop

• Опыт работы с Kubernetes

• Опыт работы с современными брокерами и очередями сообщений

• Опыт работы с Nifi

• Математическое\инженерное образование

Наш стек:

• последние версии Apache Spark (scala) и Apache Airflow

• Zeppelin

• Hadoop 3

• Kafka

• Docker, Kubernetes

• GitLab для CI/CD

Мы предлагаем:

• Официальное оформление в соответствии с ТК РФ в IT-аккредитованную компанию;

• Совокупный доход: оклад + годовой бонус;

• График работы: 5/2 (гибридный формат работы);

• Вакансия открыта для кандидатов, проживающих в РФ, удалённый формат работы из других стран не рассматривается;

• Техника для работы;

• Полис ДМС;

• Программа Best Benefits;

• Внутреннее обучение;

• Спортивные и развлекательные мероприятия, участие в корпоративной жизни компании.

Присоединяйтесь к нам и станьте частью истории бренда с историей!