Старший DL-инженер

AI VK — подразделение экспериментальных технологий, которое решает широкий спектр ML- и DL-задач в VK. Наша цель — находить решения в индустрии и внедрять их в продукты. Мы анализируем, как наши разработки можно переиспользовать и где применить, а затем масштабируем.

У нас есть успешные релизы мультимодальных контентных моделей и мультимодальных LLM для core-продуктов (рекомендации, поиск, реклама). Расширяем штат, чтобы решать основные и смежные задачи. 

Главная цель — глубокая интерпретация контента (эмбеддинги и предсказание таргетов) с использованием различных архитектур (BERT, CLIP и GPT) всех модальностей:

• Текст
  
• Изображения и видео
  
• Аудио и речь
  
• OCR и другие
  

Типы контента: видео, клипы, посты, сторис, музыка, ecom, сообщества. Продукты: VK, Дзен, Одноклассники. Интеграция моделей в рекомендации, рекламу и поиск.
Стек: PyTorch Lightning, YTsaurus, YQL, Triton, TensorRT, Verl, VLLM.

Задачи

•  Сбор данных, определение таргетов: работа с разметчиками и синтетическими материалами
  
•  Разработка мультимодальных моделей
  
•  Проведение экспериментов с архитектурами энкодеров
  
•  Оценка качества моделей и их интеграция в продуктовые механики
  
•  Конвертация и деплой моделей
  
•  Сопровождение релизов: A/B-тесты, мониторинг, версионирование
  

Требования

• Уверенное знание архитектур DL. NLP и CV — в приоритете
  
• Понимание концепций metric-learning
  
• Опыт сборки prod-like пайплайнов на PyTorch
  
• Знание SQL
  

Будет плюсом

• Опыт внедрения DL-моделей в продакшен
  
• Работа с retrieval-задачами
  
• Релевантные публикации и выступления на конференциях
  
• Целевое образование: ФПМИ, ФКН, ВМиК, ШАД