Инженер данных в Плюс Фантех

Яндекс непрерывно улучшает и развивает свои сервисы, а для принятия решений о таких изменениях аналитикам нужны детальные данные, на основе которых они будут принимать решения. Подписка Плюс, которой пользуется более 30 миллионов человек (и возможно, вы), также непрерывно развивается и становится лучше. Команда аналитики подписки занимается привлечением, удержанием и экономикой подписки, а наша команда DWH обеспечивает коллег качественными и стабильными данными, которые необходимы для решения их задач.

Какие задачи вас ждут

Создание и развитие ETL-процессов
Ежедневно сервисы генерируют десятки терабайт и многие миллиарды строк логов. Наша команда превращает их в структурированные датасеты, удобные для аналитики. Мы создаём таблицы с информацией о подписках и подписчиках Плюса, о том, как подписчики используют сервисы, о маркетинговых кампаниях и многом другом. Благодаря этому аналитики могут не тратить время на работу с сырыми неструктурированными данными, а быстро решать свои задачи на уже очищенных и агрегированных датасетах.

Оптимизация расчётов
Мы работаем с действительно большими данными, и их сложная обработка может занимать много времени. Для ключевых данных у нас существует SLA — договорённость, в какой срок они должны быть готовы. Нужно реализовывать и оптимизировать процессы так, чтобы они успевали завершиться к указанному времени и при этом использовали не слишком много ресурсов.

Развитие инфраструктурной платформы
Мы не стоим на месте и постоянно развиваем наш технологический стек. Исследование и внедрение новых технологий, которые ускоряют разработку и экономят ресурсы, — важная часть нашей работы.

Мы ждем, что вы

• Уверенно программируете на Python
• Хорошо знаете SQL

Будет плюсом, если вы

• Знакомы с парадигмой MapReduce
• Работали с платформами больших данных YTsaurus и Hadoop
• Имели дело с Linux и системами контроля версий