ML/Data Engineer

Описание

Мы разрабатываем высоконагруженную AI-платформу, которая помогает юристам готовить международные договоры. Состоит из трёх больших блоков: * Динамический UI - сочетает в себе окно поиска по базам знаний и область для договоров, графиков и форм. * Мультиагентная система – обрабатывает запросы пользователя, формирует договоры, редактирует, переводит и т.д. * Гибридная база знаний – сочетает семантический (векторный) поиск и графовые связи. Первый этап отбора на эту вакансию – общение с AI-рекрутером: * после отклика вам на почту придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram * диалог займёт примерно 10 минут * его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры * ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!

Обязанности

### Чем предстоит заниматься: * разработка и поддержка ETL-пайплайнов для парсинга законов Гонконга, английских статутов и санкционных источников (OFAC, EU, UK) * построение гибридной базы знаний: векторное хранилище Milvus, графовая БД Neo4j, PostgreSQL для метаданных * проектирование модели данных для договоров, законодательных норм, санкционных списков и графовых связей * настройка автоматического ежесуточного обновления санкционных списков с оповещением об изменениях * fine-tuning юридических эмбеддинг-моделей (LegalBERT) и/или малых LLM для извлечения сущностей * создание бенчмарков и метрик качества поиска (Hit Rate, MRR, Recall) и защиты от галлюцинаций * организация версионирования данных и моделей (DVC, MLflow) с возможностью отката при ошибках

Требования

### Мы ожидаем, что ты имеешь: * опыт работы с текстами: парсинг PDF/HTML, чистка, нормализация и Python: pandas, numpy, transformers, PyTorch * практическую работу с векторными БД (Milvus / Qdrant / Weaviate): индексация, гибридный поиск, управление схемой * опыт с графовыми БД (Neo4j, Cypher): построение онтологий, запросы связей * знание реляционных БД: PostgreSQL, включая полнотекстовый поиск и pgvector * опыт оркестрации ETL (Airflow / Prefect / Dagster) и работы с брокерами сообщений (Kafka) * MLOps: DVC, MLflow, деплой моделей в Docker/K8s; fine-tuning через Hugging Face (PEFT, LoRA) * production-опыт с LangGraph (Python) и LangChain, а также понимание TypeScript-версии LangGraph (или готовность освоить). ### Будет плюсом: * понимание common law / права Гонконга * опыт парсинга санкционных XML/CSV/JSON * практика с Spark/Dask, OWL/RDF.

Условия

### Работа у нас – это: * работа в стартап-культуре: минимум бюрократии, гибкие процессы и быстрые релизы * гибридный график (2-3 дня в неделю из дома) * современный офис на ул Поклонной, 3к3 * ежегодный пересмотр зарплаты и годовая премия * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * программа адаптации и помощь наставника на старте * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * льготная ипотека и кредитование от Сбера * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.