Дата-инженер в UGC Поиска

Ежедневно миллионы пользователей приходят в Поиск, чтобы выбрать что-нибудь: товары, фильмы, врачей и другое. Важную роль в процессе выбора играют отзывы. Мы занимаемся сбором и обработкой отзывов, чтобы помочь пользователям сэкономить время и упростить принятие решений.

Ищем дата-инженера, который будет отвечать за инфраструктуру обработки данных и руководить небольшой командой разработчиков.

Какие задачи вас ждут

Управление дата инфраструктурой
Вам предстоит проектировать, внедрять и поддерживать инфраструктуру для сбора, хранения и обработки данных, обеспечивать надёжность, масштабируемость и производительность системы.

Координация работы команды
Вы будете распределять задачи между членами команды аналитиков-разработчиков, контролировать выполнение этих задач и соблюдение сроков. Важно выстраивать эффективные рабочие процессы, проводить код-ревью и помогать сотрудникам со сложными техническими вопросами.

Аналитические решения
Вам предстоит обрабатывать и анализировать большие объёмы данных, генерировать идеи, чтобы искать пользователей, готовых поделиться мнением, и воплощать эти идеи в жизнь. Кроме того, вам нужно будет обучать модели для суммаризации отзывов и выделения ключевых аспектов, а также доставлять собранный пользовательский опыт миллионам людей.

Система метрик и мониторингов
Вам нужно будет разрабатывать и внедрять метрики и системы мониторинга качества данных и работы инфраструктуры, чтобы оперативно находить узкие места, устранять их и объективно оценивать эффективность решений.

Больше о разработке в Яндексе — в канале Yandex for Developers

Мы ждем, что вы

• Умеете выстраивать процессы разработки и эксплуатации дата инфраструктуры
• Знаете Python и SQL
• Владеете навыками менторства и эффективной коммуникации в команде

Будет плюсом, если вы

• Работали с крупными распределёнными системами (например, Hadoop, Spark)
• Обучали модели или применяли ML в работе (LLM, CatBoost и др.)
• Понимаете принципы CI/CD и имеете опыт автоматизации дата процессов
• Умеете работать с оркестраторами (Airflow, Luigi и др.)