Стажер-исследователь: online RL для распознавания речи

Описание

Модели распознавания речи чаще всего обучают на максимизацию правдоподобия идеальной транскрипции, а оценивают по количеству ошибок в распознанном тексте. Вы будете учить модель напрямую на недифференцируемую награду — сначала на Word Error Rate (WER), потом на точность редких слов из пользовательского словаря. Имена, термины и англицизмы — главный сорт ошибок в диктовке и голосовом ассистенте, а общий WER на них почти не реагирует. Пользовательский словарь — третий по частоте запрос пользователей наших открытых моделей

Обязанности

* Реализовывать on-policy обучение ASR-моделей с WER-подобной наградой * Добавлять контекстный биасинг: список слов в условие модели и награду * Сводить рецепт и переносить на продовый чекпоинт: сколько шагов, какая смесь, с какого момента деградирует общий WER

Требования

Уверенное владение python и pytorch Знакомство с распределенным обучением Знакомство с policy-gradient методами по статьям **Будет плюсом** * Опыт с verl, trl или любым другим RLHF-фреймворком * Опыт с vLLM или sglang * Любая практика с распознаванием речи, даже учебная

Условия