Техлид в группу качества машинного обучения контент-системы e-сom

Поисковые технологии — ДНК бизнес-группы Поиска Яндекса. Уже сейчас каждый пятый запрос в Поиске — выбор товаров. Этот сценарий даёт 40% прибыли. Мы работаем над инструментом, который ищет информацию по всем возможным магазинам в интернете (их более 60 тысяч). В него планируется встроить удобный ИИ-консультант. Он поможет сравнить товары по характеристикам или решить, где лучше купить тот или иной товар.

Мы ищем ML-техлила с перспективой скорого роста в тимлида, который будет развивать и поддерживать процессы обработки товарных данных — матчинга, дедубликации и создания новых карточек товаров.

Какие задачи вас ждут

Настройка процесса матчинга товаров
Наша команда готовит данные, позволяющие сравнивать цены на товары по всему е-cоm-каталогу России. Такая задача называется матчингом, и для её решения нужно сопоставить две карточки товаров от разных продавцов и выяснить, один и тот же это товар или разные. Сложность задачи состоит в том, что, во-первых, для её решения нужно учесть все данные о товаре (картинки, описание, атрибуты), а во-вторых, добиться стабильности обученных моделей, чтобы они корректно работали как на популярных товарах типа iPhone 16 Pro Max 512 GB, так и на нишевых типа сантехнических труб.

Поддержка процесса дедубликации товаров
При решении задачи матчинга естественным образом возникают два типа данных: товар (SKU) и офер. SKU — внутреннее представление товара, красивую и качественную карточку которого пользователь видит в интерфейсе. Офер — предложение о продаже товара конкретным продавцом. Очевидно, что для хорошего матчинга нужна качественная база SKU, не содержащая дублей. Сложность заключается в повышенных требованиях к качеству моделей: если сказать, что два SKU являются дублями и ошибиться, есть риск «склеить» в один набор оферов совершенно разные по цене товары.

Создание карточек SKU
И наконец, самая сложная задача — автоматическое создание карточек SKU. В её рамках нужно на основании оферов различных e-com-площадок создавать новые SKU, в карточках которых максимально полно указана информация о товаре, его атрибуты и описание, размещены красивые и релевантные картинки. Сложность задачи заключается, во-первых, в том, чтобы не создать новый SKU, когда в базе уже имеется подходящий, а во-вторых — в заполнении карточки SKU объединённой информацией (иногда даже противоречивой) из нескольких оферов.

Мы ждем, что вы

• Умеете формулировать задачи в терминах ML, понимаете, как измерить результат, знакомы с разными алгоритмами и можете выбрать подходящий, решали ML-задачи на практике
• Хорошо знаете Python и SQL, пишете чистый код
• Оптимизировали ML-модели и внедряли их в продакшн
• Строили автоматические пайплайны машинного обучения
• Имеете промышленный опыт с NLP

Будет плюсом, если вы

• Имели дело с CV и LLM
• Решали задачу матчинга в крупном e-commerce
• Занимались коммерческой разработкой
• Владеете C++ или готовы на него перейти