Разработчик платформы DWH

Привет!

Мы команда DMP-Маркета. Мы разрабатываем различные инструменты для дата-инженеров и аналитиков данных.

Перед нами стоят амбициозные цели: оптимизировать потребление вычислительных ресурсов на 20% CPU (а это тысячи ядер), внедрять новые технологии и распространять наши инструменты на весь Яндекс. Если вы талантливый разработчик и готовы принять вызов — присоединяйтесь к нам.

О команде

DMP-Маркета — платформа для обработки данных хранилища. Мы создаём инструменты для DWH, BI и аналитиков данных и стремимся сделать их работу максимально удобной и эффективной. Наша команда из 6 человек участвует в разнообразных проектах — от доработки движка MapReduce до использования LLM для генерации нейминга полей в хранилище. Мы ценим гибкость и умение взаимодействовать с заказчиками.

Какие задачи вас ждут

• Развитие инфраструктуры. При обработке больших данных остро встаёт проблема производительности HDD. Для уменьшения нагрузки на диски необходимо доработать основной MapReduce-инструмент для обработки и анализа данных — YQL (Yandex Query Language), чтобы данные между нодами расчёта передавались через хранилище в RAM.
• Разработка ETL-инструментов, которыми пользуется весь Яндекс. Нашими инструментами пользуются не только в Маркете, но и в различных подразделениях Яндекса — например, в сервисе кеширования результатов SQL-запросов при использовании BI-инструмента DataLens. Данным сервисом пользуются во всём Яндексе. Только в Маркете количество пользователей более 1500.
• Улучшение пользовательского опыта и эффективности. Наши пользователи — это дата-инженеры и аналитики, взаимодействующие с различными продуктовыми данными. Для них мы создаём инструменты, которые увеличивают эффективность их работы и упрощают использование инфраструктурных сервисов. Вам предстоит создавать бесшовные интеграции с инструментами из других частей Яндекса, участвовать в проектах улучшения эффективности и стабильности, используя в том числе технологии LLM.

Мы ждём, что вы

• Отлично знаете Python.
• Знаете базовые принципы и паттерны проектирования ПО.
• Стремитесь писать код, который легко читать и поддерживать.
• Работали с заказчиками (собирали требования, вели проекты).

Будет плюсом, если вы

• Разрабатывали на C++, Java.
• Работали с MPP-хранилищами (Greenplum, ClickHouse и другими).
• Знакомы с LLM и используете модели в работе, разрабатывали на основе GPT свои инструменты.
• Знаете слои DWH, модели хранения данных и процессы ETL.
• Понимаете принципы работы технологий распределённой обработки данных (Spark, Spark Streaming, Flink, MapReduce).

Что мы предлагаем

Здоровье

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят: стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также

• Психотерапия в офисе или онлайн-сервисах.
• Лазерная коррекция зрения через год работы.
• Ведение беременности и роды — через два года.
• Страховка для родственников по системе 80/20.
• Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.

Рост и развитие

В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Спорт

Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером.

А также

• Бесплатные онлайн-тренировки с FITMOST.
• Скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.

Спортивный клуб Яндекса

В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою.

И еще

• Гибкий график. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.

• Жилищные займы. Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.

• Всё для детей. Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.