Middle DS / GenAI Agent Engineer

Описание

R&D-подразделение лаборатории кибербезопасности развивает платформу автономного наступательного тестирования нового поколения. В основе — мультиагентная роевая архитектура на базе LLM, объединяющая инструментальную автоматизацию, методологию MITRE ATT&CK и адаптивную оркестрацию атакующих сценариев. Мы строим среду, в которой LLM-агенты помогают воспроизводить действия Red Team: разведку, эксплуатацию, закрепление, горизонтальное перемещение — от единичных техник до полноценных цепочек атак. Отдельный фокус проекта — развитие собственных доменно-специализированных моделей и пайплайнов обучения: подготовка данных, SFT/LoRA/RL-подходы, оценка качества reasoning и tool-use поведения, эксперименты с форматами обучающих примеров и автоматическая генерация данных.

Обязанности

Проектирование, проведение и анализ DS R&D-экспериментов для улучшения LLM/DSLM в задачах offensive security: подготовка и нормализация данных, fine-tuning, LoRA/SFT/GRPO/RL-подходы, оценка качества моделей, исследование агентного поведения, tool use, reasoning, RAG и интеграция результатов в мультиагентную платформу. * **подготовка и нормализация обучающих данных**: разбор writeups, CTF/HTB решений, логов агентных прогонов, командной истории, reasoning-трейсов, structured output и tool-use эпизодов * **проектирование форматов обучающих датасетов**: task → action, observation → next step, multi-step trajectories, critique/reflection, verification, command generation, schema-based tool calls * **построение пайплайнов для SFT/LoRA/QLoRA**: подготовка JSONL датасетов, валидация схем, дедупликация, фильтрация, балансировка, train/val/test split, контроль утечек * **эксперименты с RL-подходами для LLM**: GRPO, DPO, reward modeling, preference datasets, self-play/evolutionary data generation, автоматическая оценка траекторий * **оценка качества моделей и обучающих данных**: разработка метрик для reasoning, tool use, command correctness, task progress, milestone completion, hallucination rate, robustness * **создание пайплайнов синтеза данных**: генерация задач, окружений, сценариев атак, подсказок, команд, объяснений, негативных примеров и проверочных наборов * **работа с NLP-задачами внутри домена**: классификация техник MITRE ATT&CK, извлечение сущностей из writeups, нормализация команд, суммаризация траекторий, поиск похожих шагов, кластеризация * **исследование RAG и knowledge grounding**: построение доменных баз знаний, retrieval over writeups/manpages/tools/docs, оценка влияния контекста на качество действий агента * **эксперименты с локальными open-source моделями**: запуск через vLLM/Ollama/llama.cpp, подбор базовых моделей, сравнение SFT/LoRA вариантов, inference benchmarking * **интеграция обученных моделей в агентную систему**: проверка качества в CTF-like средах и реальных окружениях * **разработка исследовательской инфраструктуры**: MLflow/Langfuse-логирование, трекинг экспериментов, версионирование данных, автоматические отчеты * **анализ современных статей и open-source проектов** в области LLM fine-tuning, cyber agents, tool use, synthetic data, agentic RL и LLM evaluation.

Требования

* высшее техническое образование * практический опыт в ML/DL/NLP от 2х лет: обучение, дообучение, валидация моделей, анализ ошибок, работа с экспериментами. * опыт работы с LLM: prompt design, structured output, tool calling, schema-based interaction, evaluation * понимание современных подходов к fine-tuning LLM: SFT, LoRA/QLoRA, instruction tuning, preference tuning; готовность разбираться в GRPO/RL-подходах * практический опыт с PyTorch, Hugging Face Transformers/Datasets, PEFT, TRL или аналогичными инструментами * понимание базовых NLP-задач: классификация, извлечение сущностей, retrieval, embeddings, reranking, clustering, summarization * сильный Python: чистый, поддерживаемый, расширяемый код; опыт коммерческой или исследовательской backend-разработки * опыт построения мультиагентных систем или сложных agentic workflow * понимание архитектуры агента: роли, цели, память, планирование, вызов инструментов, контуры верификации * опыт работы с агентными фреймворками (CrewAI, LangGraph, Autogen или аналоги) * опыт интеграции внешних инструментов, CLI-утилит, брокеров сообщений, баз данных * понимание принципов RAG: retrieval, knowledge grounding, работа с контекстом * навыки отладки, профилирования и оптимизации Python-приложений. _Будет плюсом_ * опыт на стыке GenAI и Cybersecurity * участие в CTF, Hack The Box, разработка security-тулинга или research automation * практика fine-tuning open-source LLM на доменных данных * практика работы с локальным запуском open-source моделей (vLLM, Ollama, llama.cpp) * опыт работы с GRPO, DPO, ORPO, reward models, RLHF/RLAIF или другими post-training подходами * опыт построения multi-step planning, tree search, graph-based orchestration в агентных системах * навыки Docker, Kubernetes, CI/CD, Langfuse * опыт быстрого прототипирования R&D-решений в условиях неопределённых требований * понимание offensive/defensive security workflow на уровне исследовательских задач * собственные pet-проекты, GitHub, публикации или сильные результаты в профильных соревнованиях.

Условия

* комфортный современный офис * формат работы - фул офис * ежегодный пересмотр зарплаты, годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.