Старший инженер (Data Pipeline) для гуманоидных роботов в Автономный транспорт

Мы разрабатываем систему управления антропоморфными роботами. Она должна работать здесь и сейчас, решая реальные задачи — от складской логистики до сложных сервисных операций. Мы используем передовые технологии, но не ограничиваемся ими. Где решений нет — создаём их с нуля. Где есть — доводим до реального применения. Чтобы роботы могли устойчиво двигаться, взаимодействовать с окружающей средой и выполнять полезные задачи в реальных условиях, необходимо множество данных. Чтобы эти данные были полезны, важна стабильная и воспроизводимая цепочка их обработки. Вам предстоит разработать надёжные конвейеры для доставки сырых данных от роботов в хранилища и преобразования их в готовые датасеты для обучения моделей.

Какие задачи вас ждут

Разрабатывать надёжные пайплайны поставки и обработки данных
Вам предстоит спроектировать и реализовать поток данных в хранилище и их обработки для использования командами машинного обучения. Необходимо сделать так, чтобы система выдерживала рост объёмов, имела защиту от потери данных и была отказоустойчива.

Разрабатывать пайплайн конвертации данных в целевые форматы для ML
Нужно будет создать конвертеры, которые трансформируют сырые данные от роботов в форматы, подходящие для обучения моделей. Описать схемы и правила преобразования, привести разнородные источники к единообразному представлению, настроить повторяемые процедуры сборки наборов данных.

Обеспечивать надёжность и прозрачность процесса
Нужно добиваться стабильной и воспроизводимой работы процесса обработки данных, устойчивого к росту объёмов и нагрузки. Обеспечивать прозрачность на всех этапах — от приёма данных до формирования итоговых наборов — так, чтобы состояние и корректность были понятны команде в любой момент.

Интегрировать с инструментами валидации и разметки
Вам предстоит выстроить автоматические проверки качества и маршрутизацию данных на ручную проверку и разметку, обеспечить согласованность артефактов на всём пути движения данных.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Мы ждем, что вы

• Умеете писать надёжные пайплайны и знакомы с параллельной обработкой данных
• Работали с объектными хранилищами (S3, YTsaurus и аналогичными) и различными форматами данных
• Понимаете основы CI/CD и умеете настраивать логи, метрики, алерты
• Способны проектировать схемы данных и процессы так, чтобы они были масштабируемыми и повторяемыми

Будет плюсом, если вы

• Настраивали оркестрацию пайплайнов с помощью Airflow, Prefect или Argo
• Имели дело с распределёнными дата-системами
• Работали с инструментами контроля качества данных