Data engineer/ Разработчик SQL/ pgSQL

Сегодня Билайн — компания изменений, чутко реагирующая на потребности рынка и людей. А ещё Билайн — это команда, объединённая общими ценностями и общей целью — быть лидером телеком и digital рынков, предоставляя нашим клиентам новейшие продукты и услуги, а также сервис самого высокого уровня.

Сейчас у вас есть возможность присоединиться к лучшей команде ЦПУ (Цифровая платформа управления) в роли Data Engineer!

Итак, вам предстоит:

• Разрабатывать хранимые процедуры на PostgreSQL для расчёта показателей в хранилище данных (звездообразная схема);
• Создавать функции, представления и запросы для извлечения и агрегации бизнес-показателей на PostgreSQL;
• Разрабатывать DAG в Airflow с использованием коннекторов к PostgreSQL, Hive, HDFS, S3, HTTP, а также для работы с файлами форматов CSV, XLS и XLSX;
• Реализовывать алгоритмы проверки качества данных (с помощью хранимых процедур в PostgreSQL, а также задач и операторов в Airflow);
• Проводить оптимизацию запросов PostgreSQL;
• Вести техническую документацию по разработке в Confluence;
• Работать с задачами и проектами в JIRA;
• Работать с системой контроля версий Git.

Мы будем рады рассмотреть вашу кандидатуру, если у вас есть:

• Опыт работы в роли Data Engineer от 1,5 лет.
• Уровень владения SQL, в т.ч. в диалекте PLPPSQL - Jun+/middle;
• Опыт работы с ETL-инструментами;
• Понимание архитектуры Apache Spark, опыт по анализу и оптимизации обработки данных на Spark.
• Опыт работы с Hadoop.

Будет плюсом, если вы:

• Опыт работы с HDFS, Hive и Spark/Scala;
• Знание Python на уровне Middle, в частности библиотек: pandas, openpyxl, xlrd, exchangelib, boto3, requests, s3transfer;
• Опыт администрирования PostgreSQL, Linux и Airflow;

Наш стек:

• Scala / Python
• Hadoop (hdfs, hive)
• Apache Spark

Что мы предлагаем:

• Трудоустройство в аккредитованную ИТ-компанию.
• Возможность работать дистанционно на территории РФ.
• Сплоченную команду профессионалов, в которой можно не только успешно реализовывать проекты, но и перенимать опыт и развиваться.
• Обучение, участие в интересных проектах и расширение профессиональной экспертизы: мы участвуем в конференциях, митапах, публикуемся на Хабр и т.д.
• Конструктивную и открытую рабочую атмосферу.
• Полис добровольного медицинского страхования, обслуживаемый в лучших клиниках, а также чек-ап для сотрудников 40+.
• Страхование жизни, страхование от несчастных случаев и критических заболеваний, страхование выезжающих за рубеж.
• Материальную помощь.
• Детские подарки.
• Доплату по листу нетрудоспособности
• Корпоративные скидки на товары и услуги от партнеров компании.
• Служебную сотовую связь.
• Кафетерий льгот — возможность самостоятельно выбрать дополнительные корпоративные льготы и бонусы (спорт, здоровье, обучение, путешествия, транспорт и др.). Доступно после испытательного срока.