Разработчик процессов realtime-обработки данных в Поиск

Как только вы сделаете запрос в Поиск Яндекса и кликнете по документу — уже через несколько секунд эта информация повлияет на ранжирование для следующего человека по такому же запросу. Это возможно благодаря тому, что наша команда создаёт и развивает процессы realtime-обработки данных в Поиске.

Мы:

• Пишем на C++
• Каждый день обрабатываем сотни терабайт логов
• Используем вычислительные ресурсы максимально эффективно
• Постоянно внедряем новые процессы обработки данных
• Создаём быстрые и надёжные сервисы: задержка от события до его учёта в алгоритмах Поиска — всего 5–10 секунд, а uptime наших сервисов — больше 99,99%

Какие задачи вас ждут

Улучшение инфраструктуры экспериментов с данными
Вы будете деплоить prestable-контуры, чтобы верифицировать работоспособность рантайма на свежих данных.

Добавление новых данных в пайплайны
Нужно будет обрабатывать события новых типов и дополнять ими профили пользователей для улучшения системы рекомендаций.

Внедрение новейших технологий в сервисы
Infrastructure as code — это описание конфигурации распределённой системы с помощью кода, а также эффективная репликация данных и оптимизация пайплайн-обработки.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Мы ждем, что вы

• Уверенно знаете C++
• Разрабатывали для Linux
• Знаете классические алгоритмы и структуры данных

Будет плюсом, если вы

• Разрабатывали сетевые, многопоточные или распределённые программы либо прошли продвинутые обучающие курсы по этим направлениям
• Работали с ML-системами
• Пишете на Python