Инженер данных

Чем предстоит заниматься:

• Писать пайплайны на Python: от сырых данных с проездов до витрин и обучающих датасетов;
• Считать метрики автономии: удержание в полосе, локализация, качество восприятия;
• Собирать датасеты для нейросетей: фильтры, баланс, авторазметка, шаринг между командами;
• Гонять инференс в проде на десятках GPU — авторазметка, эмбеддинги, каскады моделей;
• Ускорять тяжёлую обработку;
• Развивать внутренние библиотеки.

Что мы ждём от кандидата:

• Опыт промышленной разработки на Python: читаемый production-код, ревью, тесты;
• Хорошее знание SQL (джойны, оконные функции) и опыт работы с колоночными СУБД — у нас основной склад аналитики ClickHouse;
• Опыт работы с объектным хранилищем (S3 / совместимым): чтение/запись больших объёмов, партиционирование, работа с путями и метаданными;
• Опыт построения или поддержки data-пайплайнов в оркестраторах (Airflow, Dagster, Argo);
• Готовность разбираться в доменных данных (rosbag / сенсоры / логи машин) и доводить пайплайны до стабильного продакшена.

Будет плюсом:

• Практический опыт со Spark;
• Опыт с Kubernetes (джобы, ресурсы, дебаг падений подов) и/или Docker;
• Запуск инференса / ML-шагов в пайплайнах: GPU, батчи, ClearML / аналог, torch;
• Разработка внутренних Python-библиотек или data-platform компонентов;
• знакомство с ROS / LiDAR.

Примеры реальных задач:

• Спроектировать систему сбора и хранения данных для обучающего датасета с версионированием, с возможностью частичного пересчета, а также использованием преагрегатов и заданным SLA на обработку;
• Синхронизировать данные, идущих с разной частотой: IMU 100 Гц, видео 30 Гц и лидар 10 Гц;
• Реализовать систему семантического поиска похожих ситуаций с использованием эмбеддингов и векторных баз данных.