Data Engineer в команду коммуникаций

О команде

CRM отвечает за отправку маркетинговых сообщений от имени Авито пользователям. Проект существует давно и активно развивается. Сейчас над CRM-коммуникациями работают три команды: две — над коммуникациями покупателям и одна — продавцам. Дальнейшее развитие мы видим в активном внедрении ML/LLM в наши сервисы: составление умных сегментов, генерация контента и т. д. Для развития этого направления мы и собираем команду.

CRM является одним из самых активных пользователей DWH, поддерживая и развивая свой кластер Trino. Кроме того, есть Ceph, Vertica, ClickHouse. Основной функционал предстоит писать на Python, но для Trino пригодится Java.

Вам предстоит:

• работать в связке с аналитиками и DS, обеспечивать подготовку датасетов для анализа и обучения моделей;
• реализовывать решения для ускорения расчётов сегментов CRM-кампаний на Trino;
• оптимизировать и создавать новые витрины и SQL-запросы для генерации сегментов кампаний;
• контрибьютить в платформу, если того требует решение задачи.

Мы ждём, что вы:

• имеете опыт работы с Lakehouse-хранилищами или колоночными базами данных: загрузка данных в s3-like хранилища и оптимизация запросов на их основе;
• пишете на Python или другом языке программирования;
• умеете вести самостоятельную работу и выбирать оптимальные направления приложения усилий.

Будет здорово, если вы:

• работали с ML;
• работали с Trino, Ceph, ClickHouse, Vertica;
• имеете опыт разработки микросервисов на асинхронных Python-фреймворках (AIOHTTP, Starlette);
• знаете или хотите изучить Java.

Работа у нас — это:

• возможность реализовать свои идеи в проекте с многомиллионной аудиторией;
• талантливая команда, готовая поддержать ваши инициативы;
• мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы;
• прозрачная система премий, достойная зарплата — размер обсудим на собеседовании;
• личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
• забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;
• удалёнка из любой точки мира или замечательный офис в двух минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.