Senior Data Egineer (Spark, Iceberg, StarRocks)

• *ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИМы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения.Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу.**

Сейчас мы расширяем команду, занимающуюся проектом по миграции данных из источников на единую платформу. Команда входит в Центр компетенций BDS - одно из сильнейших подразделений нашей Компании, экспертов в области работы с большими данными, построения DWH и использующих в работе современный стек BigData: Greenplum, Hadoop, NiFi, Hive, Spark/Scala, PostgreSQL, Informatica, Kafka, Apache Airflow, Apache Griffin.

• *ПРОЕКТ:**Суть проектов связана с построением хранилищ, которые построены на различных базах данных Hadoop, GreenPlum, PosgreSQL. Работаем с витринами и занимаемся разработкой ETL процессов.

• *СТЕК проекта:**Apache Spark (Pyspark), SQL, Airflow.

• *Что нужно делать:**

• Активное взаимодействие с большим количеством команд и заказчиком по уточнению требований;

• Анализ чужого и написание своего кода на SQL, Python, Spark;

• Опыт с Apache Iceberg и StarRocks / Trino;

• Подтвержденный опыт миграции данных на Lakehouse;

• Настройка и поддержка DAG-ов в Airflow для оркестрации процессов;

• Опыт работы с облаками Yandex/AWS/Azure;

• Тестирование и отладка кода, обеспечение качества данных;

• Документирование (Confluence).

• *Что мы хотели бы видеть:**

• Глубокие знания SQL;

• Spark (в том числе оптимизаци), Iceberg, Python;

• Настройка и поддержка DAG-ов в Airflow для оркестрации процессов;

• Знание архитектуры хранилищ;

• Опыт миграции данных;

• Умение работать в команде и следовать процессам заказчика.

• *Желательно:**

• Kafka;

• Scrum;

• Знание экономики, финансов, банковской сферы.

• *Что ты приобретёшь, присоединившись к нам:**

• достойную оплату труда + компенсационные, стимулирующие и мотивационные выплаты, бонусы за участие в реферальной программе;

• работа в команде профессионалов готовых делиться экспертизой;

• официальное трудоустройство по ТК РФ, аккредитация IT, расширенный социальный пакет:

✔️ страховка ДМС (с 3-го месяца работы, стоматология, возможность подключения родственников, теле медицина, полис ВЗР),

✔️ сотрудникам со стажем в Neoflex более 3 месяцев при предоставлении листка нетрудоспособности устанавливается доплата до полного заработка за период болезни,

✔️ обучение детей сотрудников ИТ специальностям,

✔️ компенсация затрат на фитнес и занятия английским языком;

• обеспечиваем техникой для работы (ноутбук, наушники, мышь);

• профессиональное развитие - в Учебном Центре (курсы по работе с большими данными, видео лекции, тренажеры, карьерный коучинг, лекции, тренинги, конференции, участие в митапах);

• возможность пройти проф.сертификацию;

• прозрачную систему карьерного развития Performance Review;

• персонального куратора с первого дня работы;

• насыщенную корпоративную жизнь: яркие корпоративы, праздники для детей сотрудников, корпоративные спортивные мероприятия, мотивационные награждения;

• комфортную атмосферу в филиалах компании в городах: Москва, Санкт-Петербург, Нижний Новгород, Пенза, Воронеж, Саратов, Самара, Краснодар где есть лаунж и фотозоны, вендинги в кухнях, пространство для медитаций и другие секретные места, о которых знают только наши сотрудники.

• *Мечты и команды работают вместе.Мы будем рады, если ты станешь частью нашей команды! Откликайся**;)