Старший разработчик ядра платформы (Scala)

Какие задачи необходимо решать

• Разрабатывать MLOps/autoML платформы
• Миграция сервисов платформы на новые версии библиотек scala/spark
• Проектировать структуры хранения и представления данных
• Разрабатывать промышленные сервисы распределенной обработки данных для поставки данных на платформу машинного обучения
• Анализировать производительность и масштабировать продукты под возрастающую нагрузку
• Писать юнит и интеграционные тесты, проводить code review

Требования

• Опыт разработки на Scala от 2 лет
• Опыт работы со Spark
• Понимание принципов оптимизации обработки данных (знание форматов хранения данных, понимание принципов работы join и т.д.
• Понимание архитектуры и принципов работы Spark-приложений
• Навык работы с Docker, Kubernetes Будет плюсом:
• Опыт работы со SparkML
• Знания особенностей spark разных версий
• Опыт проектирования или работы с современными MLOps платформами
• Понимание принципов обучения ML-моделей
• Знание Python
• Опыт работы с базами данных Cassandra, Scylla etc.

Ключевые навыки