Разработчик на C++ в команду планировщика YTsaurus

YTsaurus (или YT) — одна из ключевых инфраструктурных систем Яндекса, которая используется для хранения и обработки данных. Планировщик YT отвечает за запуск пользовательских задач и распределение вычислительных ресурсов в больших мультитенантных кластерах. От эффективности работы планировщика зависит, насколько хорошо нам удаётся утилизировать миллионы CPU, удовлетворяя при этом квоты пользователей. Об этом мы рассказывали в докладах на конференциях:

• Как сдержать самые сложные обещания: планирование batch-задач в системе Yandex.YT
• Планирование миллиардов задач каждый день (видео)

Под управлением планировщика YT находятся и суперкомпьютеры, состоящие из тысяч GPU. На них ML-инженеры обучают YandexGPT и другие модели, использующиеся во всех сервисах Яндекса. Запуск распределённых обучений представляет собой отдельную сложную задачу, в которой необходимо учитывать требования к высокой сетевой связности между узлами обучения, а также минимизировать фрагментацию ресурсов в кластере.

Мы ищем опытного разработчика на C++ в нашу дружную команду. У вас будет уникальная возможность поучаствовать в разработке ключевого инфраструктурного сервиса и повлиять как на удобство работы тысяч инженеров, так и на утилизацию физических ресурсов компании.

Какие задачи вас ждут

Масштабирование планировщика
На самых больших кластерах внутри Яндекса наш сервис работает на пределе своих возможностей. Мы постоянно ищем узкие места и повышаем эффективность планировщика, чтобы справляться с растущей нагрузкой. В этом направлении задачи варьируются от небольших локальных оптимизаций до крупных переделок, таких как шардирование планировщика.

Улучшение стратегии планирования задач
Помимо высокой утилизации, одной из ключевых целей планировщика является правильная приоритизация при запуске пользовательских вычислений. Для этого у нас есть иерархическая модель распределения ресурсов, которую можно гибко настроить в соответствии с текущими нуждами компании. Вам предстоит развивать лежащий в основе планировщика алгоритм, который принимает решения о запуске задач в кластере в соответствии с этой моделью.

Разработка диагностических инструментов
Помимо запуска вычислительных задач мы работаем над прозрачностью хода их исполнения. Быстрая и удобная диагностика позволяет пользователям оптимизировать выстраивание своих процессов и своевременно находить проблемы. Особенно это актуально в случае GPU-вычислений, таких как распределённые обучения.

Мы ждем, что вы

• Уверенно владеете C++ и хотите писать сложный и надёжный код
• Готовы разбираться в устройстве высоконагруженного сервиса

Будет плюсом, если вы

• Работали с распределёнными системами
• Разбираетесь в устройстве алгоритмов планирования: Hadoop YARN, Kubernetes, Mesos и т. п.

О команде

Мы искренне увлечены большими распределёнными системами и сложными техническими задачами. Многие из нас имеют академический опыт и до сих пор активно преподают — в ШАД Яндекса, в МФТИ, ВШЭ и других вузах. Некоторые из нас занимали призовые места в соревнованиях по спортивному программированию.

В команде сохраняется дух стартапа: дружно общаемся в рабочее и нерабочее время, вместе штурмуем задачи, экспериментируем и участвуем в CTF.