Data Engineer

Сегодня Билайн — компания изменений, чутко реагирующая на потребности рынка и людей. А ещё Билайн — это команда, объединённая общими ценностями и общей целью — быть лидером телеком и digital рынков, предоставляя нашим клиентам новейшие продукты и услуги, а также сервис самого высокого уровня.

Сейчас у вас есть возможность присоединиться к лучшей команде Digital Twin в роли Data Engineer!

Итак, вам предстоит:

• Проектирование, разработка и поддержка ETL/ELT-пайплайнов.
• Интеграция с различными источниками данных (API, базы данных, файлы, очереди).
• Работа с распределёнными системами хранения и вычислений (Hadoop, Spark).
• Настройка оркестрации и мониторинга пайплайнов в Airflow.
• Поддержка и развитие хранилища (ClickHouse, HDFS, Postgresql)
• Подготовка витрин данных для аналитиков и ML-команды.
• Обеспечение качества данных (валидация, тестирование, мониторинг).
• Документация пайплайнов, best practices в команде.

Мы будем рады рассмотреть вашу кандидатуру, если у вас есть:

• Опыт коммерческой разработки на Python (3.6+).
• Опыт работы с PySpark и экосистемой Hadoop (HDFS, Yarn).
• Понимание принципов работы распределённых вычислений и оптимизации Spark-джоб.
• Практический опыт работы с Airflow (DAG’и, сенсоры, операторы, оптимизация)
• Опыт работы с ClickHouse (шардирование, репликация, партиции, создание таблиц, оконные функции).
• Умение работать с большими объёмами данных (10ТБ+).
• Знание SQL (в т.ч. оптимизации сложных запросов)
• Опыт работы с системами контроля версий (у нас Git + Gitlab).

Будет плюсом, если вы:

• Имеете опыт CI/CD (у нас GitLab CI).
• Имеете знания в области Data Modeling (звёздная/снежинка, нормализация).
• Имеете навыки работы с JupyterHub, подготовка data notebooks.

Что мы предлагаем:

• Трудоустройство в аккредитованную ИТ-компанию.
• ВОЗМОЖНОСТЬ РАБОТАТЬ ДИСТАНЦИОННО НА ТЕРРИТОРИИ РФ.
• Сильную команду специалистов, с которой можно расти.
• Свободу в принятии решений, возможность влиять на процесс и результат.
• Развитое внутреннее DE комьюнити (chapter из 150+ человек) с регулярными митапами и встречами по обмену опытом.
• Ежегодный процесс ревью.
• Десятки Пбайт разнообразных данных - от классических табличных до гео, графов, кликстримов, текстов и картинок.
• Внешнее и внутреннее обучение, участие в митапах и конференциях.
• Полис добровольного медицинского страхования, обслуживаемый в лучших клиниках.
• Корпоративные скидки на товары и услуги от партнеров компании.
• Компенсацию ваших затрат на занятия спортом (бег, футбол, волейбол, плавание и йога) в размере 30% от их стоимости.
• Служебную сотовую связь.