Разработчик ХД/Data Engineer (middle+/senior)

Rapporto–одна из крупнейших IT-компаний на рынке телекоммуникаций. Более 17 лет мы обслуживаем B2B-рынок.

Наши продукты позволяют компаниям ежедневно общаться со своими клиентами через различные каналы коммуникаций:push-уведомления, мессенджеры, SMS-сообщения, IVR и другие.

Среди клиентов: ВкусВилл, ЦУМ, Лэтуаль, Боксберри, Л’Окситан, ОТП Банк, Райффайзенбанк и другие.

Нас 200 человек, у нас нет лишней бюрократии, работы ради галочки или микроменеджмента. Зато есть много сложных и интересных задач, быстрое принятие решений, а главное – у нас есть отличная команда!

Чем предстоит заниматься в нашей команде:

1. Разработка и оптимизация сложных SQL-запросов:

• написание эффективных, масштабируемых и поддерживаемых запросов на SQL и PL/pgSQL для аналитических и операционных задач;

• диагностика и устранение узких мест в производительности: анализ планов выполнения (EXPLAIN ANALYZE), оптимизация JOIN-ов, агрегаций, подзапросов;

• работа с оконными функциями, рекурсивными CTE, материализованными представлениями, партиционированием.

1. Глубокая работа с СУБД:

• понимание архитектуры PostgreSQL: MVCC, WAL, vacuum, индексы (B-tree, GIN, GiST, BRIN), блокировки, транзакции, isolation levels;

• понимание архитектуры ClickHouse: движки таблиц (MergeTree, ReplicatedMergeTree), партиционирование, сэмплирование, движки агрегации, колоночная модель, векторизованные вычисления;

• настройка параметров СУБД для баланса между производительностью, надёжностью и ресурсопотреблением;

• мониторинг и тюнинг производительности на уровне СУБД.

1. Проектирование и развитие структуры баз данных

• разработка схем данных: нормализация/денормализация, выбор типов данных, проектирование первичных и внешних ключей;

• проектирование масштабируемых и отказоустойчивых решений (репликация, шардирование в ClickHouse);

• построение и поддержка Data Warehouse (DWH).

1. Интеграция с инструментами оркестрации и обработки

• использование Apache Airflow (или аналогов) для оркестрации DAG-ов: написание, тестирование, мониторинг задач;

• написание ETL-скриптов на Python (например, с использованием pandas, SQLAlchemy, clickhouse-driver, psycopg2).

Что хотим видеть в Вас:

1.Экспертный SQL:

• свободное владение сложными запросами, CTE, оконными функциями, агрегациями;

• опыт написания и отладки PL/pgSQL (функции, триггеры, хранимые процедуры).

1. Глубокое понимание СУБД:

• PostgreSQL: архитектура, индексы, транзакции, репликация, vacuum, настройка производительности;

• ClickHouse: движки таблиц, колоночная модель, материализованные представления, оптимизация запросов под агрегации.

1. Опыт проектирования БД:

• умение проектировать как OLTP, так и OLAP-структуры;

• понимание компромиссов между нормализацией и производительностью.

1. Понимание архитектуры DWH:

• знание слоёв DWH, подходов к моделированию;

• опыт работы с измерениями и фактами.

1. Практический опыт ETL/ELT:

• реализация пайплайнов загрузки данных в продакшне;

• работа с инкрементальной загрузкой, обработка дублей, обновление исторических данных.

Будет плюсом:

1. Apache Airflow:

• написание DAG-ов, работа с операторами, сенсорами, XCom, pools, retries.

• настройка и поддержка Airflow-кластера (опционально);

1. Python:

• умение писать скрипты для обработки данных, интеграции с API, автоматизации;

• знание библиотек: pandas, requests, pydantic, logging, асинхронность (при необходимости).

1. Инфраструктурные навыки:

• базовое понимание Docker, Linux, мониторинга (Prometheus/Grafana), CI/CD.

Мы предлагаем:

• График работы: 5/2, удаленный формат работы на территории РФпо мск времени с 9.00 или 10.00ч;

• Работу в аккредитованной IT-компании, оформление по ТК;

• ДМС со стоматологией и психологом после ИС;

• Дружную команду профессионалов:ценим юмор, проводим крутые корпоративы, организовываем мастер-классы, квизы и другие мероприятия для неформального общения с коллегами;

• Наставничество со стороны руководства и поддержка коллег.