Junior ML Engineer (Multimodal Embeddings / RnD)

Описание

Мы ищем ML Engineer в RnD подразделение для работы над мультимодальной эмбеддинг-моделью. Наша цель — создание foundation-модели для векторного поиска по тексту и изображениям (в стиле ColPali, Gemini Embedding). Вам предстоит работать на стыке инженерии и исследований: создавать датасеты и бенчмарки, обучать модели (Contrastive Learning) и сравнивать эффективность кастомных решений с SOTA.

Обязанности

\- Подбор и подготовка датасетов для обучения и оценки качества поиска (для разметки и обкачки данных у нас есть отдельная команда); \- Разработка и обучение эмбеддеров (в архитектуре VLM), реализация новых методов и проверка гипотез (например, Late Interaction); \- Сравнительный анализ производительности против SOTA решений (ColPali, Gemini Embedding, Qwen); \- Проектирование и поддержка пайплайнов оценки качества эмбеддингов (MTEB, IR benchmarks) для мультимодальных систем.

Требования

\- Опыт от 1 года коммерческой разработки в ML с фокусом на NLP, CV или Multimodal; \- Понимание архитектур эмбеддинг-моделей (CLIP, ColBERT/ColPali), механик контрастивного обучения; \- Понимание принципов alignment модальностей в VLM и методов fine-tuning (фулл, LoRA) \- Владение экосистемой: PyTorch, HuggingFace (Transformers, Datasets). **Будет плюсом:** \- Опыт обучения моделей с использованием контрастивным лоссом (InfoNCE); \- Опыт оценки качества поиска (Recall, MRR, NDCG) и проектирования экспериментов для сравнения гипотез; \- Опыт распределенного обучения на нескольких GPU/нодах (DeepSpeed, Accelerate); \- Публикации, соревнования или пет-проекты в области Multimodal Retrieval или CV.

Условия

* Кластер с GPU A100 для экспериментов; * гибридный формат работы из Москвы * ежегодный пересмотр зарплаты, годовая премия * корпоративный спортзал и зоны отдыха * система обучения для профессионального и карьерного развития * расширенный полис ДМС с первого дня работы и страхование для семьи * программа ипотеки для сотрудников * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.