Lead AI Quality & Benchmarking (Kandinsky)

Описание

Мы – команда Kandinsky, создающая и развивающая core-технологии генеративных моделей изображений и видео. Наши модели умеют создавать фотореалистичные сцены, стилизованные иллюстрации и видеоролики по текстовому описанию, редактировать визуальный контент и работать в мультимодальных сценариях. Сейчас мы усиливаем направление оценки качества и бенчмаркинга моделей. Ищем лида команды AI Quality & Benchmarking, который возьмёт оунершип качества генеративных моделей и будет влиять на решения о релизах, развитии и сравнении с лучшими мировыми аналогами.

Обязанности

* полный оунершип трека оценки качества генеративных моделей (Image / Video / Multimodal) * проектирование, развитие и поддержка бенчмарков качества: SBS, point-wise, pairwise, human-in-the-loop * формирование и развитие системы метрик качества: следование промту, знания, визуальное качество, стабильность, safety * поддержка и развитие внутренних лидербордов моделей (качество, latency, стоимость инференса) * анализ регрессий качества между версиями моделей, поиск корневых причин деградаций * сбор, систематизация и приоритизация обратной связи по качеству от пользователей и команд ML / Product * формирование и защита go / no-go решений по релизу моделей на основе данных и метрик * регулярный анализ и подготовка отчётов по моделям-конкурентам (open-source и proprietary).

Требования

* высшее образование в области математики, прикладной математики, computer science, data science, ML или смежных областях * 4+ лет опыта в Data Science / ML / Applied Research, из них существенный фокус на оценку качества моделей * глубокое понимание принципов работы генеративных моделей (V-LLM / diffusion / multimodal) и их ограничений * практический опыт проектирования и поддержки систем оценки качества моделей (offline и online evaluation) * умение самостоятельно формулировать метрики качества и принимать архитектурные решения по evaluation-пайплайнам * сильный аналитический бэкграунд: работа со статистикой, интерпретация метрик, оценка значимости, анализ trade-off’ов (качество ↔ стабильность ↔ стоимость) * уверенное владение Python (Pandas, NumPy, SciPy), опыт работы с SQL * опыт работы с human evaluation, субъективными метриками и процессами разметки данных * умение чётко формулировать выводы и доносить решения до ML, Product и руководства.

Условия

* крупнейшее DS&AI community — более 600 DS-специалистов банка * дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира * возможность быть соавтором НИРов и статей для международных конференций * возможность выбрать удобный формат работы: гибрид или офис * ежегодный пересмотр зарплаты, годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * ипотека выгоднее до 7% для каждого сотрудника * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.