Инженер данных в BDWH

Мы работаем с уникальной базой данных о российском бизнес-секторе и решаем интересные задачи — на стыке Big Data, ML, теории графов и генеративного AI. На основе базы знаний мы создаём прикладной продукт. Он помогает аналитикам, маркетинговым и сейлз-командам исследовать рынки и аудитории, получать информацию о бизнесах и применять её в ежедневной работе.

Мы формируем команду экспертов. В ней особенно ценятся инициатива, инженерная культура и глубокое понимание предметной области.

В работе вы будете использовать LLM, AI-агентов, MCP и графовые базы данных, причём в реальных промышленных объёмах. Также вам предстоит создавать сервисы и инструменты, которые изменят подход к аналитике и работе с данными.

Какие задачи вас ждут

Разработка пайплайнов
Вы будете проектировать, оптимизировать и поддерживать надёжные пайплайны обработки данных — из внутренних и внешних источников. Также нужно будет следить за качеством данных и устойчивостью вычислений, чтобы строить и развивать базу знаний о бизнесах.

ML-сопоставление и оценка клиентов
Вам предстоит разрабатывать и улучшать модели мэтчинга и скоринга для look-alike-оценки аудиторий и бизнесов, использовать разметку асессоров, оценивать качество решений и внедрять их в промышленный контур.

Внедрение LLM и AI-агентов
Нужно будет использовать LLM, чтобы классифицировать бизнесы, дополнять их атрибуты и создавать текстовые описания. Также предстоит разработать AI-агентов, MCP-интеграции и переиспользуемые скилы — они автоматизируют аналитику, поиск информации и другие рабочие процессы.

Fullstack-разработка сервиса
Ваши задачи — превращать знания из нашей базы и AI-технологии в удобные сценарии для пользователей, автоматизировать работу с бизнес-информацией и развивать сервис, учитывая потребности пользователей.

Работа с графовыми алгоритмами
Вы будете улучшать подходы к Entity Resolution, находить связанные сущности и извлекать полезные сигналы из графа на больших объёмах данных. При этом максимальная полнота и связность данных будут достигаться за счёт графовых моделей и алгоритмов в парадигме MapReduce.

Больше о разработке в Яндексе — в канале Yandex for Developers

Мы ждем, что вы

• Уверенно программируете на Python
• Знаете SQL, понимаете реляционную модель и операции над множествами
• Умеете самостоятельно проверять результаты, находить и обрабатывать корнер-кейсы
• Знаете основные алгоритмы обработки данных
• Понимаете, как данные и технологии превращаются в полезные пользовательские продукты
• Умеете продуктивно использовать AI-инструменты в разработке и аналитике, эффективно внедрять их в рабочие процессы

Будет плюсом, если вы

• Работали с LLM, AI-агентами, MCP и подходами к созданию переиспользуемых AI-скилов
• Участвовали в разработке data-driven-продуктов
• Имеете базовые навыки работы с фронтендом
• Знакомы с парадигмой MapReduce и распределёнными вычислениями
• Знаете классические ML-алгоритмы и методы оценки качества моделей