Стажер Data Engineer [МТС Аналитика, МТС Веб Сервисы]

• МТС Аналитика – это единая аналитическая платформа для анализа поведения пользователей в web и app приложениях экосистемы МТС.
• Наша цель – эффективная рекламная атрибуция, обогащенные Big Data полезные данные о когортах, кросс-продуктовый пользовательский путь и LTV пользователя и продукта, сдобренные собственным UI для визуализации метрик и командной работы.
• Наши преимущества:
• Опытные и отзывчивые коллеги, которые готовы ответить на любые вопросы
• Многие компоненты создаются с «нуля»
• Сложный и большой проект, в котором можно многому научиться.

Чем предстоит заниматься

• Осуществлять разработку ETL pipeline над большими данными
• Оптимизировать существующие дата процессы
• Формировать проверки Data Quality
• Поддерживать высоконагруженные потоковые сервисы
• Настраивать алертинг и мониторинг процессов.

Кого мы ищем

• Основы computer science (алгоритмов)
• Знание ЯП для работы с BigData
• В нашем случае Python (стандартные библиотеки: numpy, pandas, requests)
• Умение писать аналитические SQL запросы
• Опыт работы в нескольких диалектах SQL
• Пользователь Linux, git
• Будет большим плюсом:
• PySpark - понимание параметров Spark сессии и планов запросов
• Понимание архитектуры MPP баз данных - Clickhouse
• Опыт работы с брокерами сообщений - Kafka
• Понимание зачем и как работает CI/CD
• умение перезапустить и понять ошибку из лога
• Понимание хранилища HDFS - умение организовывать файлы нужного размера и сортировки, взаимодействие через cli
• Основы построения хранилищ данных, слои и архитектурные подходы
• Опыт работы с инструментами оркестрации процессов (мы используем Apache Airflow)
• Умение писать различные виды тестов (в том числе unit-тесты) с помощью pytest.

Что мы предлагаем

• собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability - не будут для вас проблемой, вы сможете сосредоточиться на фичах
• профессиональные гильдии инженеров по направлениям, чтобы поддерживать друг друга и обмениваться опытом
• внутреннюю площадку TechTalks для обмена опыт ом, дискуссий, развития навыков самопрезентации. Участие во внешних IT конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре Hello, conference! полезные курсы и вебинары в корпоративном университете и электронные библиотеки.