Кто мы?
- *EVO AI** — IT-компания в области AI-консалтинга и генеративного искусственного интеллекта.
Мы разрабатываем и внедряем AI-агентов, ассистентов и комплексные AI-решения для бизнеса, а также развиваем собственную no-code платформу для создания и оркестрации AI-агентов.
Работаем с крупным российским и международным бизнесом.
Чем предстоит заниматься
- Разрабатывать и поддерживать QA-стратегию и процессы тестирования продукта.
- Тестировать как классическую веб-часть продукта — Flask API, Next.js UI, так и AI-функциональность.
- Развивать автоматизацию тестирования: Python + pytest на backend;
- testcontainers для интеграционных тестов;
- Vitest / Jest + React Testing Library на frontend;
- Playwright / Cypress для E2E.
- Проводить API-тестирование REST API и проверять соответствие OpenAPI-контрактам.
- Работать с unit / integration / E2E тестами, фикстурами, параметризацией и моками.
- Тестировать распределенные сценарии: Celery, Redis, асинхронные процессы, очереди, eventual consistency.
- Проверять работу с PostgreSQL, миграциями Alembic и корректностью tenant-scoping.
- Настраивать и поддерживать quality gates в CI/CD: coverage, type-check, линтеры, автоматический прогон тестов и E2E.
- Тестировать AI-функциональность: LLM-агентов, RAG-пайплайны, промпты, tools и интеграции с LLM-провайдерами.
- Участвовать в создании eval-наборов и регрессионных тестов для AI-агентов, оценивать качество ответов и RAG-ретривала.
- Находить узкие места в текущем тестировании и предлагать способы сделать процесс надежнее и быстрее.
- Взаимодействовать с разработчиками и продуктовой командой на всех этапах разработки — от постановки задачи до релиза.
- Участвовать в code review тестов и помогать повышать качество разработки.
Что мы ожидаем
- 5+ лет опыта в QA / тестировании для Senior уровня.
- Опыт построения или развития автоматизированного тестирования.
- Уверенный Python и практический опыт с pytest.
- Опыт работы с фикстурами, параметризацией, моками и интеграционными тестами.
- Опыт тестирования backend на Flask / FastAPI / Django или аналогичном стеке.
- Опыт автоматизации frontend с Playwright / Cypress и Vitest / Jest + React Testing Library.
- Хорошее понимание API-тестирования, REST и OpenAPI.
- Опыт работы с PostgreSQL и понимание принципов работы миграций.
- Понимание CI/CD, Docker и GitHub Actions.
- Понимание принципов тестирования распределенных и асинхронных систем.
- Умение самостоятельно разбираться в продукте, находить риски и предлагать решения.
- Понимание того, как балансировать качество, риски и скорость разработки.
Будет большим плюсом
- Опыт тестирования LLM-приложений, AI-агентов или ML-продуктов.
- Практический опыт с RAG и оценкой качества AI-систем.
- Опыт работы с Langfuse, Opik, Weave или аналогичными инструментами для eval и observability.
- Опыт с vector DB: pgvector, Qdrant, Weaviate, Pinecone и др.
- Опыт нагрузочного, security или chaos-тестирования.
- Опыт работы с Celery / Redis и другими очередями.
- Опыт работы в продуктовой команде и участия в формировании QA-процессов с нуля.
Условия
- Рабочий график: 09:00–18:00 по МСК.
- Работа над собственным AI-продуктом, который активно развивается.
- Сильная техническая команда и возможность влиять на процессы и качество продукта.
- Возможность профессионального роста в направлении QA Automation и тестирования AI-систем.
В сопроводительном письме расскажите, пожалуйста:
- о вашем опыте автоматизации тестирования;
- какие инструменты и технологии используете;
- был ли у вас опыт работы с AI / ML / LLM-продуктами.