NLP-разработчик в Клавиатуру

Яндекс Клавиатура — одно из самых быстро растущих мобильных приложений Яндекса. Основная задача Клавиатуры — делать ввод текста проще, быстрее и удобнее. Мы ищем сильного ML-разработчика, который поможет нам развивать ML в Клавиатуре. Вы сможете решать сложные задачи и влиять на каждый этап жизненного цикла моделей: от сбора данных до оптимизации инференса на мобильных устройствах. Результаты вашей работы будут применяться миллиарды раз в день и колоссально влиять на пользователей Клавиатуры: любое улучшение может суммарно экономить до нескольких тысяч лет их жизни в год.

Если вам давно хотелось работать в продукте с миллионами DAU, внедрять современные NLP-подходы прямо на девайсы, чтобы качество и скорость не уступали серверным аналогам, и быстро видеть профит от внедрений в онлайн-метриках — приходите в нашу небольшую команду, которая делает продукт end-to-end.

На Хабре можно почитать о нашей нейросетевой языковой модели и о тап-модели

Какие задачи вас ждут

Переезд большей части стека на LLM
Сейчас задачи предсказания следующей буквы/слова и исправления опечаток у нас выполняет развесистый пайплайн с большим количеством зависимостей между моделями. Переход на одну LLM для всех задач позволит относительно бесплатно получать профиты от развития архитектур и стадии претрейна от команды YaGPT.

Инфраструктура обучения
Перед нами стоит много интересных инфраструктурных задач. Например:

• Ускорить пайплайн обучения. Хотим достигнуть цели «Один день от начала эксперимента до готового релиза кандидата».
• Оптимизировать пайплайн сбора данных для обучения и замера качества — чтобы прийти к ситуации «Offline-замеры сильно коррелируют с результатами online».

Более глубокое понимание контекста
Если модель использует в текущей и соседних сессиях ввода весь контекст и эффективно работает с ним, тогда подсказки/исправления становятся всё более релевантными. Чтобы решить эту задачу, нужно правильно строить обучение моделей и их применение на девайсе пользователя.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждем, что вы

• Отлично ориентируетесь в классических подходах ML, NLP/DL
• Работали с PyTorch, TensorFlow или другими DL-фреймворками
• Знакомы с C++ и хотите развиваться в этом направлении
• Следите за SOTA-подходами, читаете статьи

Будет плюсом, если вы

• Внедряли ML-модели on-device на базе TensorFlow Lite или llama.cpp
• Знакомы с SQL