Разработчик на С++ в команду инфраструктуры Алисы (DWH)

Алиса — это высоконагруженный сервис, обрабатывающий сотни миллионов запросов каждый день. Эти запросы ежедневно генерируют терабайты аналитических данных, которые необходимо не только эффективно хранить, но и быстро обрабатывать, объединяя события из различных логов. С появлением новой функциональности возникает потребность в удобных инструментах для создания метрик и выполнения аналитических задач. Мы также активно внедряем технологии обработки данных в реальном времени, что позволит получать результаты за минуты.

Ищем опытного специалиста, который поможет нам улучшать пайплайн обработки и создавать эффективный фреймворк для доставки и построения логов.

Какие задачи вас ждут

Развитие DWH Алисы
Мы создаём фреймворк для подготовки аналитических данных, который:

• Позволяет легко построить новые дашборды и встроиться в уже существующий пайплайн
• Реализует эффективную и надёжную обработку логов
• Поддерживает строгую схему и типизацию
• Обеспечивает приватность данных

Вы будете улучшать этот фреймворк вместе с нами.

Обработка логов в режиме реалтайм
Мы хотим получать аналитику как можно скорее, потому планируем перевести свои процессы из MapReduce-парадигмы на потоковую обработку данных, агрегировав несколько потоков.

Оптимизация хранения логов
В Алисе очень много данных, и эти данные необходимо хранить оптимально — как по занимаемому объёму на диске, так и по скорости работы с ними.

Мы ждем, что вы

• Знаете C++
• Понимаете MapReduce
• Пишете оптимальный код
• Разбираетесь в сериализации

Будет плюсом, если вы

• Настраивали DWH
• Занимались потоковой обработкой данных
• Работали с ClickHouse