Data Engineer в ML-инфраструктуру

Наша команда работает над большой языковой моделью YandexGPT — базовой технологией, лежащей под капотом Алисы, Нейропоиска, Нейробраузера и многих других продуктов. Наши AI-тренеры учат модель правильно отвечать на вопросы и сравнивают качество её ответов с другими моделями. Ещё мы учим модель использовать агентов, чтобы она умела, например, решить задачу в электронной таблице, реорганизовать папки на жёстком диске или сходить за пользователя в браузер и записать его к парикмахеру.

Какие задачи вас ждут

Развитие личного кабинета AI-тренера
Понадобится собирать из разных источников данные (выполненные задачи, табель рабочего времени и т. д., расчёт качества и производительности) и отображать их на дашбордах.

Решение инфраструктурных задач для обучения агентов
Вы будете создавать среды для обучения: писать код, развёртывать самописные серверы и опенсорсные докер-образы.

Анализ и контроль ресурсов, используемых аналитиками
В нашем отделе работает множество аналитиков, которым нужны вычислительные ресурсы. Потребуется выдавать ресурсы, а также контролировать и оптимизировать их применение.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Мы ждем, что вы

• Любите работать с данными
• Умеете писать на Python и SQL
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения

Будет плюсом, если вы

• Строили ETL-процессы (например, работали с Airflow)
• Работали с BI-системами (DataLens, Tableau, Power BI, etc.)
• Работали с YTsaurus или аналогами
• Настраивали CI/CD