Руководитель группы, Feature Flow в AI VK

В рекомендациях, поиске и рекламе ключевую роль играют эмбеддинги — векторные представления контента. Их нужно считать в поточном режиме для всех новых объектов (видео, изображений, постов, рекламных объявлений) и быстро доставить в систему ранжирования Discovery Runtime.

Feature Flow предоставляет ML-командам возможность самостоятельно управлять графами поточного обогащения данных и расчёта моделей. Платформа реализует материализацию таких графов в пайплайны стриминговой обработки данных, используя фреймворк Stream Flow. Результаты расчётов записываются в распределённое хранилище YTSaurus.

Наша команда пишет на Java 21, использует Spring Boot, YTSaurus, Postgres, Gradle, GitLab CI, Grafana и множество внутренних инструментов.

Задачи

• Улучшение UX, снижение TTM

• Интеграция новых сценариев

• Оптимизация ресурсов

• Обеспечение надёжности

• Миграция пайплайнов из неплатформенных решений

Требования

• Опыт разработки на Java от пяти лет

• Опыт в проектировании отказоустойчивых сервисов

• Уже управляли командой разработки из 5+ человек

• Желание быстро осваивать новые технологии и подходы