Инженер данных (платформа ограничений)

Обязанности:
- Разработка технологии и программных инструментов потокового расчета признаков (фичей) для моделей машинного обучения.
- Эффективное взаимодействие в составе команды со специалистами по анализу данных и специалистами по развитию инфраструктуры.
- Реализовывать промышленные отказоустойчивые сервисы ETL на Python для пакетной загрузки и трансформации данных под управлением Apache Airflow, Argo Workflows.
- Разрабатывать сервисы потоковой обработки данных с использованием инструментов Spark Structured Streaming, Flink.

Требования:
- Высокий уровень знаний языка программирования Python – структуры данных, итераторы и декораторы, параллельное и асинхронное программирование, объектно-ориентированное и функциональное программирование.
- Отличные знания SQL – создание сложных запросов с использованием табличных выражений (CTE) и оконных функций.
- Общее понимание процессов разработки и эксплуатации моделей машинного обучения, понимание концепции признаков (фичей) моделей.
- Хорошие знания платформы Apache Spark – опыт использования библиотеки pyspark, влияние конфигурации приложения pyspark на производительность и эффективность обработки данных, отладка и анализ эффективности приложений pyspark с помощью Spark History Server.
- Опыт работы с Apache Kafka для решения задач потоковой обработки данных.

Условия:
— Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования.
— Удаленный или гибридный формат работы.
— Среда для твоего неизбежного развития: тебя ждут сложные и интересные задачи с использованием большого массива данных, у нас регулярно проходят тренинги, вебинары, у тебя будет доступ к бесплатным корпоративным библиотекам Альпины и бизнес - изданий, скидки на курсы иностранных языков.
— Карьерный рост: ты будешь понимать, что нужно сделать для перехода на другой уровень.
— Чувство локтя: у нас дружелюбная атмосфера и команда лучших профессионалов, которые готовы делиться с тобой экспертизой.
— Забота о твоем здоровье: программа ДМС, куда входит стоматология и обслуживание в лучших клиниках города, скидки на абонементы в фитнес-клубы, неформальные спортивные сообщества. Также есть фитнес-зал в офисе.
— Возможности для разнообразного досуга: скидки на услуги туристических агентств, продукты питания, в рестораны и бары, в магазины и салоны красоты.