Middle Data scientist (валидация GenAI решений/моделей классического ML)

Описание

В Центре модельных рисков корпоративно-инвестиционного бизнеса открыта вакансия Data Scientist. Команда создает инструменты для оценки модельного риска, а также инструменты для мониторинга качества моделей по всем корпоративным бизнес-направлениям. Работают с моделями, построенными на табличных данных классическим ML (Classic ML), а также с генеративными моделями (Gen AI).

Обязанности

### Чем предстоит заниматься: * анализ бизнес-процессов применения модели и оценка ее оптимальности * валидация решений на базе LLM (в частности GigaChat), в том числе агентов * тестирование альтернативных подходов к решению валидируемой задачи * разработка валидационных тестов для проверки различных аспектов ML-решений * исследование новых подходов для оценки и интерпретации работы LLM * участие в разработке методологии валидации применений LLM в бизнес-кейсах * консультация представителей бизнеса и команд разработки по вопросам прохождения валидации * оценка чувствительности бизнес-метрики процессов ожидаемого финансового эффекта от точности/стабильности работы модели * независимая проверка модели и рекомендации по ее улучшению, в т.ч. создание альтернативных моделей * оценка импакта от рекомендаций по редизайну моделей/альтернативной модели, полученной на этапе валидации * создание инструментов для автовалидации, мониторинга и разработки моделей AutoML (на Python) * исследование новых алгоритмов на SOTA-решения для бизнес-процессов * участие в проектах Управления по развитию IT инфраструктуры и автоматизации процессов.

Требования

### Ждем от кандидата: * знание ML/DL и статистического анализа, понимание принципа работы и построения базовых алгоритмов ML\\DL (классический ML, CNN, RNN, Transformer, RL, RecSys, LLM и т.д.) * владение Python и основных библиотек анализа данных, знание SQL и навыки работы с базами данных, приветствуется опыт участия в соревнованиях по анализу данных и опыт разработки моделей в банковской сфере * знание «классических» подходов и моделей для разработки и оценки решений различных NLP-задач, знание основных принципов построения encoder-only и decoder-only моделей на основе архитектуры transformer * опыт работы с библиотеками / фреймворками: pytorch, transformers, datasets, langchain (желательно) * опыт обучения / дообучения моделей из семейств BERT и GPT. ### Будет плюсом: * опыт разработки пром-решений на базе LLM, таких как: вопросно-ответные системы, суммаризация / перефразирование контента, чат-боты и т.д * навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимущество, опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов

Условия

### Что предлагаем: * комфортный современный офис рядом с м. Кутузовская * возможность выбрать удобный график – офис * ежегодный пересмотр зарплаты, годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * программа адаптации и помощь руководителя на старте (для Junior позиций) * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * ипотека выгоднее до 7% для каждого сотрудника * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.