Стажер Data Engineer в Скоринг [Big Data, МТС Веб Сервисы]

МТС — это мультисервисная цифровая экосистема. Мы создаём и развиваем сервисы в сфере мобильной связи, больших данных, искусственного интеллекта, облачного хранения, медиа и финансов — все они делают жизнь людей проще и интереснее

Big Data – один из ключевых юнитов МТС. Наши технологии применяются практически во всех направлениях компании - финансы, маркетинг, обслуживание, планирование сети, HR, розница

Команда центра Big Data находится в поиске стажера Data Engineer в команду Скоринг

Скоринг - это коммерческий B2B продукт для уменьшения рисков и затрат B2B-клиентов. Скоринг состоит из 2-х направлений: рисковый и антифрод

Чем предстоит заниматься

Разрабатывать ETL на Pyspark Оптимизировать запросы sql/spark Проводить оптимизацию и рефакторинг кода обработки данных Заниматься постановкой на регламент ETL процессов: расчет моделей, сборка витрин фичей Осуществлять внедрение контроля качества данных Научиться писать тесты на существующий и разрабатываемый функционал Выбирать оптимальную структуру хранения данных: оптимальной структуры, сжатия, секционирования и глубины Научиться работать с Kafka, ClickHouse, CI\CD, Flink

Кого мы ищем

Знание Python (стандартные библиотеки) Понимание хранилища HDFS (умение организовывать файлы нужного размера и сортировки, взаимодействие через cli) Умение писать аналитические SQL запросы Linux, git Желателен опыт работы с инструментами оркестрации процессов (мы используем Apache Airflow) и будет плюсом знание PySpark (умение оптимизировать и рефакторить код джобов, управлять ресурсами spark-сессии)

Что мы предлагаем

• Есть ли куратор? Да, наставник будет с тобой с самого начала
• Какой график? Гибкий, начало работы в промежутке с 8 до 11, занятость 30 - 40 часов в неделю
• Условия? Официальное оформление сроком от 6 до 9 месяцев с реальной возможностью остаться в штате - такие кейсы уже проходили и нам понравилось :)