ML-инженер в команду применения компьютерного зрения

Мы решаем задачи, связанные с применением компьютерного зрения в продуктах. Наш главный проект — IP-камера Mike на базе VLM-модели. Она позволяет отслеживать события, которые действительно важны для пользователя, и своевременно сообщать о них. С её помощью можно понять, спит ли ребенок, сколько раз за день поел кот, где в последний раз оставили ноутбук и многое другое.

Чтобы обеспечить надёжность её работы, мы постоянно повышаем качество VLM-моделей и уделяем особое внимание минимизации ложных срабатываний.

Какие задачи вас ждут

Улучшение VLM-фич
Вам предстоит строить пайплайны автоматической и асессорской разметки, обучать модели на стадиях SFT и RL, проводить эксперименты и повышать качество моделей на всех этапах. Необходимо будет подготавливать видеоданные и заносить их в обучающие выборки.

Оптимизация стоимости и производительности
Для ответов в реальном времени важно не только высокое качество, но и скорость работы модели. Вам предстоит экспериментировать с архитектурой моделей и инструментами ускорения инференса, а также оптимизировать вычислительные затраты и обеспечивать стабильную работу моделей в продакшене даже под высокой нагрузкой.

Кастомизация ответов
Мы хотим, чтобы модель умела узнавать людей и домашних животных, учитывала пользовательский контекст и использовала факты, важные для конкретного человека. Вам предстоит научить модель корректно работать с пользовательскими знаниями, делать ответы более персонализированными и естественными, а также наполнять их эмпатией.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждем, что вы

• Работали с NLP, Computer Vision или мультимодальным обучением
• Выполняли Fine-Tuning для VLM под конкретные задачи
• Хорошо знаете ML и ориентируетесь в современных LLM и VLM
• Знакомы с Reinforcement Learning и понимаете, где RL-подходы действительно применимы
• Умеете формулировать гипотезы, ставить аккуратные эксперименты и делать обоснованные выводы

Будет плюсом, если вы

• Работали с классическими Core CV-моделями
• Оптимизировали модели для работы в реальном времени
• Развёртывали online-RL
• Понимаете ограничения современных VLM и следите за их развитием