Junior/Middle Data Scientist (Model Validation / GenAI / R&D)

Описание

Наша команда занимается независимой оценкой, валидацией и контролем качества AI-моделей и GenAI-решений Банка — от классических ML и NLP до LLM, диффузионных моделей, мультимодальных систем и моделей реального мира (робототехника, беспилотный транспорт и смежные направления). Мы не просто «проверяем метрики», а: глубоко разбираемся в подходах команд-разработчиков и бизнес процессах в которых участвуют модели, челленджим архитектурные и методологические решения,предлагаем улучшения,разрабатываем собственные альтернативные модели, проверки и бенчмарки. Отдельный фокус — R&D-деятельность: * создание новых методологий оценки качества, * участие в разработке и развитии переводных российских бенчмарков (MERA, POLLUX и др.), * адаптация передовых мировых бенчмарков под специфику банковских и индустриальных кейсов. Сейчас у нас открыта вакансия на роль LLM / GenAI Validation DS — фокус на LLM, мультимодальных и генеративных моделях, а также автоматизации их проверки.

Обязанности

* глубоко погружаться в валидацию как классических так и LLM, диффузионных и мультимодальных моделей * проектировать пайплайны автоматической проверки качества, устойчивости и безопасности GenAI * разрабатывать агентов и инструменты для автоматизации валидации (LLM-as-a-judge, multi-agent setups и т.д.) * участвовать в создании и адаптации бенчмарков для LLM и GenAI и кастомизировать их под бизнес-кейсы Банка * проводить полный цикл R&D: от формулировки исследовательского вопроса, до прототипа, экспериментов и внедрения в рабочий процесс * держать руку на пульсе и следить за SOTA в LLM / GenAI и переносить лучшие практики в индустриальные решения. Базовый стек: * python, pandas * pytorch Будет плюсом: * Classic ML / DL: Spark, pytorch-lightning, pytorch-distributed * LLM / GenAI: langchain, smolagents, huggingface, faiss, vllm, lm-eval, rag-пайплайны * оценка и бенчмарки: опыт работы с evaluation-фреймворками

Требования

* высшее образование в области компьютерных, технических или физико-математических наук * от 1 года опыта в ML / DS (готовы рассматривать сильных кандидатов с меньшим опытом при наличии pet-проектов, R&D или соревнований). * хорошее оонимание:теории ML (как классического, так и по работе  генеративного ИИ),математической статистики и теории вероятностей. * опыт работы с основными библиотеками анализа данных * базовые знания bash и git. Будет плюсом: * опыт R&D-работы или участия в создании бенчмарков * опыт валидации или тестирования моделей, а не только их обучения * pet-проекты или исследования в области LLM, мультимодальных или real-world моделей * умение декомпозировать сложные задачи * проактивная позиция и интерес к исследовательской деятельности и генеративному ИИ

Условия

* возможность внести вклад в развитие самой перспективной сферы — искусственный интеллект * формат работы: офис (м.Кутузовская) * ежегодный пересмотр зарплаты и годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера