Data Engineer

Задачи

• Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark с использованием популярных фреймворков (Airflow).
• Разработка коннекторов к системам-источникам данных и системам-потребителям.
• Организация потоков данных в рамках микросервисной архитектуры платформы.
• Разработка схемы данных компонентов платформы в едином информационном поле.
• Работа с различными системами хранения (ClickHouse, PostgreSQL, Redis).
• Разработка пайплайнов с Kafka.
• Написание генераторов тестовых данных.

Минимальные требования

• Опыт промышленной разработки на Python от 2-х лет.
• Сильные софт-скиллы и умение коммуницировать между командами.
• Опыт работы с Airflow.
• Опыт работы с K8s.
• Уверенное знание SQL.
• Умение работать с командной строкой Linux/MacOS.
• Умение вести проекты в Git.
• Знакомство с основным big data стэком — Spark, Hadoop.

На что ещё смотрим:

• Опыт работы с MPP–системами и с колоночными хранилищами данных.

У нас

• Работа в одной из самых сильных ML-команд в России.
• Участие в росте компании, работающей на перспективном AI-рынке.
• Гибкий график работы, гибкое предоставление отгулов и отпусков.
• Гибкий формат работы: полная удаленка (в том числе вне РФ)/гибрид/офис в Мск.
• Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг, корпоративные скидки на курсы английского.
• Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами.
• ДМС со стоматологией после испытательного срока (3 месяца) по всей России.
• При желании работать из офиса — уютный офис в центре Москвы (2 минуты от м. Сухаревская) со всем необходимым для комфортной работы.

Особенно актуальное:

• Мы аккредитованная ИТ-компания со всеми вытекающими льготами.