Аналитик в Meta DWH

Яндекс обладает обширной внутренней инфраструктурой, включающей десятки взаимосвязанных сервисов, в том числе высоконагруженные системы вычислений с тысячами внутренних пользователей. Для эффективного управления такой инфраструктурой необходима система, которая собирает и анализирует данные об использовании сервисов.

Команда Meta DWH отвечает за сбор, хранение, подготовку и анализ данных во внутренней инфраструктуре Яндекса. На основе этих данных мы создаём инструменты мониторинга состояния инфраструктуры, дашборды для анализа, алерты и рекомендации по оптимизации использования сервисов. Наша задача — помочь Яндексу выявить узкие места, неэффективные методы использования и определить точки роста для повышения общей эффективности.

Какие задачи вас ждут

Построение инфраструктурного DWH
Вам предстоит понять, как устроена система распределённых вычислений YTsaurus, в чём специфика её работы, какие данные она генерирует и как их анализировать. Предстоит создать эффективные процессы сбора и хранения этих данных (DWH), чтобы легко анализировать их и принимать решения на их основе.

Создание инструментов для анализа потребления ресурсов
Сотни команд используют инфраструктуру обработки больших данных. Ваша цель — увеличить долю пользователей, которые активно занимаются оптимизациями. Вы должны дать ответственным за «железо» понимание того, на что тратятся ресурсы и где их можно использовать эффективнее.

Улучшение инструментов Data Governance
Вам предстоит подготавливать данные для сервиса DataCatalog, улучшать их связность и ускорять поставку данных для решения реальных каждодневных задач пользователей.

Больше о разработке в Яндексе — в канале Yandex for Developers

Мы ждем, что вы

• Уверенно пишете код на Python — он будет полезен для создания скриптов и автоматизации процессов
• Знакомы с диалектами SQL
• Внимательны к деталям и знаете, как провалидировать полученный результат
• Умеете представлять результаты своей работы в лаконичной и понятной форме
• Готовы общаться с большим количеством смежных команд
• Хотите развиваться в области дата-инженерии и инфраструктуры больших данных

Будет плюсом, если вы

• Работали с инструментами визуализации — мы используем Yandex DataLens
• Работали в коммерческой технологической компании