Data Engineer

Сегодня билайн — компания изменений, чутко реагирующая на потребности рынка и людей. А ещё билайн — это команда, объединённая общими ценностями и общей целью — быть лидером телеком и digital рынков, предоставляя нашим клиентам новейшие продукты и услуги, а также сервис самого высокого уровня.

Сейчас у вас есть возможность присоединиться к лучшей команде Департамента разработки мобильных и конвергентных продуктов в роли Data Engineer!

Из основных задач: 

• Анализ требований к витринам данных
• Поиск и исследование источников данных для последующей интеграции
• Оценка пригодности, качества исходных данных
• Разработка ETL процессов на Spark
• Оркестрация ETL процессов в Airflow
• Проектирование баз данных
• Создание конвейеров данных NiFi
• Вывод отчётности в Qlick Sense
  
  

Описание как бы выглядел идеальный кандидат. Все недостающие навыки можно подтянуть у нас. 

• Любит работать в команде и умеет это делать;

• Знает SQL на  высоком  уровне  (в  т. ч.  DDL,  табличные  выражения,  оконные  функции);
• Работал с Hive, PostgreSQL;
• Умеет разрабатывать ETL процессы Spark на Scala (потоковая обработка как преимущество);
• Пользовался AirFlow или другими оркестраторами – Oozie, Luigi, ну или cron;
• Может что-то написать на Python – в объеме чтобы пользоваться AirFlow или еще круче;
• Умеет использовать Инструменты, которые позволяют создавать интерактивные отчеты, дашборды и визуализации на основе данных - Power BI, Qlik;
• Имеет опыт потоковой разработки конвейеров данных в NiFi или Flink;
• Интересуется Flink, пробовал применять его в проектах;
• Понимает принципы работы реляционных СУБД и HDFS;
• Понимает подходы к работе с качеством данных;
• Применяет системный подход к работе, думает о конечной бизнес-задаче, мыслит логически, уделяет внимание деталям.

Наш стек:

• Scala / Python
• Hadoop (hdfs, hive)
• Apache Spark
• Power BI, Qlik

Что мы предлагаем:

• Трудоустройство в аккредитованную ИТ-компанию.
• Удаленный формат работы;
• Сильную команду специалистов, с которой можно расти.
• Свободу в принятии решений, возможность влиять на процесс и результат.
• Развитое внутреннее DE комьюнити (chapter из 150+ человек) с регулярными митапами и встречами по обмену опытом.
• Ежегодный процесс ревью.
• Десятки Пбайт разнообразных данных - от классических табличных до гео, графов, кликстримов, текстов и картинок.
• Внешнее и внутреннее обучение, участие в митапах и конференциях.
• Полис добровольного медицинского страхования, обслуживаемый в лучших клиниках.
• Корпоративные скидки на товары и услуги от партнеров компании.
• Компенсацию ваших затрат на занятия спортом (бег, футбол, волейбол, плавание и йога) в размере 30% от их стоимости.
• Служебную сотовую связь.