Команда AI Hub Блока Финансы разрабатывает и поддерживает централизованную среду разработки, хранения и исполнения AI-агентов и ML-моделей. В нашу зону ответственности входит эксплуатация ИТ-инфраструктуры, разработка сервисов интеграций, поддержка инструментов разработки AI-агентов. Благодаря нашей работе команды Блока Финансы имеют централизованные сервисы работы с GigatChat и API по работе с AI-агентами при выполнении современных требований архитектуры и кибербезопасности. Вы будете отвечать за организацию и проведение регулярного нагрузочного тестирования для AI-агентов команд Блока Финансы, выступая экспертом по производительности и помогая командам обеспечивать стабильность их AI-сервисов под нагрузкой. Ваша задача — сделать процесс НТ максимально простым и автоматизированным, чтобы любая команда могла легко проверить готовность своего сервиса к production-нагрузкам
Обязанности
- Разработка и внедрение CI/CD-пайплайнов для автоматизации нагрузочного тестирования
- Разработка и поддержка Helm-чартов для развёртывания AI-агентов и ML-сервисов в Kubernetes
- Организация и поддержка тестовых стендов (авто развертывание инфраструктуры)
- Разработка сценариев нагрузочного тестирования для API AI-агентов
- Автоматизация других видов тестирования:
- Функциональное тестирование AI-логики (валидация ответов, оценка качества генерации)
- Интеграционное тестирование с внешними системами (БД, Kafka, OpenSearch, Redis)
- Тестирование безопасности (проверка токенов, RBAC, защита от инъекций)
- Тестирование моделей (drift detection, проверка входных/выходных схем)
- Развитие системы самообслуживания:
- Создание удобных интерфейсов (CLI, Web UI на Streamlit) для запуска тестов и деплоя
- Упрощение вывода AI-агентов в ПРОМ с автоматической проверкой качества
- Написание скриптов и сервисов автоматизации:
- На Python (FastAPI, asyncio) — для создания вспомогательных сервисов тестирования
- На Groovy — для расширения Jenkins-пайплайнов
- Автоматизация рутинных операций
Требования
- Глубокое знание CI/CD и практик построения пайплайнов (Jenkins, ArgoCD, GitOps)
- Опыт автоматизации нагрузочного и интеграционного тестирования в микросервисной среде
- Отличное знание Helm, Kubernetes-манифестов, принципов развёртывания высоконадёжных сервисов
- Балансировка нагрузки, RateLimiting, Service Mesh (Istio), readiness/liveness пробы
- Уверенное владение Docker и принципами контейнеризации
- Опыт работы с БД: PostgreSQL, OpenSearch, Redis, ClickHouse, векторные БД
- Знание SQL и NoSQL, умение проектировать и оптимизировать запросы
- Опыт разработки сервисов на Python (FastAPI, pytest, requests, asyncio)
- Навыки написания автоматизированных тестов через LLM
- Опыт с инструментами нагрузочного тестирования Банка
- Работа с методиками оценки качества генерации ИИ
- Понимание принципов MLOps
- Опыт с мониторингом и алертингом (Prometheus, Grafana)
Условия
- формат работы- офис/гибрид, г. Москва, ул. Вавилова 19
- ежегодный пересмотр зарплаты, годовой бонус
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера
- корпоративная пенсионная программа.