Старший инженер данных (AutoML)

Обязанности

• Разработка платформ AutoML и AlfaPredict для автоматизации построения и сопровождения моделей машинного обучения.
• Анализ источников данных для их использования в моделях AutoML.
• Разработка сервисов и ETL-процессов обработки данных для их использования в моделях AutoML.
• Изучение и внедрение методов автоматизированного построения признаков (фичей) для моделей машинного обучения.
• Эффективное взаимодействие в составе команды со специалистами по анализу данных и специалистами по развитию инфраструктуры.

Требования

• Высокий уровень знаний языка программирования Python — структуры данных, итераторы и декораторы, параллельное и асинхронное программирование, ООП и функциональное программирование.
• Опыт работы в среде JupyterLab/JupyterHub.
• Опыт реализации промышленных отказоустойчивых сервисов на Python — ETL на Apache Airflow, Argo Workflows, веб-сервисы на FastAPI.
• Понимание принципов микросервисной архитектуры, распределённых и потоковых вычислений.
• Хорошие знания Apache Spark: опыт с PySpark, влияние конфигурации на производительность, отладка через Spark History Server.
• Опыт асинхронного взаимодействия с веб-сервисами по REST API с использованием aiohttp, HTTPX.
• Отличные знания SQL: сложные запросы с CTE и оконными функциями.
• Опыт работы с Oracle, PostgreSQL.
• Понимание OLAP, знание форматов хранения Parquet, ORC и отличий колоночных БД от строковых.
• Опыт использования Hadoop/HDFS, S3, Hive, Iceberg.
• Проактивность — способность и стремление находить и предлагать решения.
• Позитивный настрой и активная жизненная позиция.
• Командность, готовность делиться опытом и учиться новому.
• Открытость в коммуникации и готовность обсуждать трудности.

Будет дополнительным преимуществом

• Базовые знания Scala, Java, Groovy.
• Опыт с Apache Kafka, Apache Flink, включая библиотеки aiokafka, Confluent Kafka, Kafka Python.
• Знание основ NLP.
• Общее представление о нейросетях и больших языковых моделях (LLM).

Условия

• Работа в команде увлечённых профессионалов в атмосфере взаимопомощи и сотрудничества.
• Интересные и нетривиальные задачи.
• Участие в создании инновационного программного продукта.
• Оформление по ТК РФ.
• График 5/2 с возможностью частично или полностью удалённой работы.
• Достойная и полностью белая заработная плата (обсуждается индивидуально).