Разработчик на C++ в группу потоковой обработки данных рекламной сети

Наша команда разрабатывает платформу потоковой обработки данных рекламной сети Яндекса. Она основана на [BigRT](https://www.youtube.com/watch?v=bfaKRthHM0Y) и [YTsaurus]( https://github.com/ytsaurus/ytsaurus). Мы доставляем данные с задержкой меньше минуты с гарантией exactly-once, обрабатываем 2 млн событий, или 5 ГБ в секунду, c точностью, которой доверяют. Это необходимо, чтобы выдерживать постоянно растущую нагрузку, быть отказоустойчивыми и повышать качество и скорость обработки данных.

Перед нами стоят технические вызовы:

• Перейти на более современный подход в потоковой обработке данных, разрабатываемый внутри компании
• Сделать добавление новых данных простым и удобным
• Перейти с ClickHouse на YTsaurus dynamic tables для наших задач
• Стать более надёжными и улучшить производительность
• Распространить технологии в продуктовые команды

Какие задачи вас ждут

Унификация технологий
Проверенные нами технологии надо сделать простыми в использовании, чтобы продуктовые команды могли использовать их у себя.

Современная потоковая обработка
Вы переведёте пайплайны на новый подход к стриминговой обработке данных, который разрабатывают внутри компании.

Развитие продукта
Рекламные продукты развиваются с огромной скоростью, и наша задача — успевать предоставлять рекламодателям аналитику и отчёты, за которыми стоят миллиарды событий.

Упрощение добавления новых данных
Нужно сделать так, чтобы добавление нового поля в систему происходило просто и предсказуемо.

Обеспечение надёжности и производительности
Система должна незаметно для пользователя переживать отключение дата-центра, успевать обрабатывать накопленный лаг в случае аварий — и всё это несмотря на усложнение архитектуры, внедрение фич и новых данных.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Мы ждем, что вы

• Хотите писать на C++
• Знаете классические алгоритмы и структуры данных
• Знакомы с Linux

Будет плюсом, если вы

• Писали код с использованием асинхронной парадигмы
• Разрабатывали сетевые приложения
• Готовы руководить небольшой группой разработчиков
• Умеете программировать на Python
• Имеете опыт в потоковой обработке данных