Data-инженер в команду SQL-SWAT

О команде

Команда SQL-SWAT отвечает за бизнес-критичный технический проект миграции DWH с легаси-платформы Vertica на целевую платформу LakeHouse на базе Trino и Ceph. Также команда поддерживает пользователей по вопросам создания витрин данных и пайплайнов в DWH.

Инженеры команды мигрируют объекты DWH, разрабатывают селф-сервис-инструменты для миграции и помогают пользователям работать с ними.

Какие задачи вас ждут:

• разрабатывать сервисы, CLI-инструменты и LLM-инструменты для ускорения и упрощения процесса миграции;

• самостоятельно мигрировать объекты с помощью созданных инструментов:

  • транслировать код;
  • верифицировать данные;
  • переносить историю;
  • переключать зависимости;
• обучать и поддерживать пользователей при работе с селф-сервис-инструментами автоматизированной миграции;
• в рамках регулярных дежурств поддерживать пользователей в чатах и консультировать по вопросам работы с витринами данных;
• мигрировать сложные и критичные витрины данных на новую платформу с сохранением производительности и соблюдением SLA;
• улучшать существующие инструменты с применением современных технологий, например AI-элементов для ускорения процессов;
• взаимодействовать с владельцами витрин из аналитических команд, согласовывать допустимые расхождения в данных и необходимые изменения бизнес-логики.

Примеры будущих задач:

• доработать сервис трансляции SQL-кода, чтобы ускорить трансляцию на 20%;
• создать LLM-инструменты для верификации данных во время миграции на локальной машине пользователя;
• мигрировать сложные MERGE REFRESH-витрины с учётом специфики Trino и деградацией времени ежедневного расчёта не более чем на 10%;
• оптимизировать витрины на Trino, чтобы снизить потребление вычислительных ресурсов на 20%;
• ответить на вопрос пользователя в чате, например о том, почему витрина не проходит тесты на производительность.

Мы ждем, что вы:

• работали с аналитическими СУБД: Vertica, Snowflake, ClickHouse, StarRocks, Presto, Trino или другими;
• знаете, что для СУБД значит выполнить SQL-запрос, и понимаете, как оптимизировать аналитические запросы;
• разрабатывали пайплайны обработки данных;
• уверенно владеете SQL, включая сложные оконные и аналитические функции;
• разбираетесь в планах запросов и можете оптимизировать запросы;
• разрабатывали сервисы и приложения на Python или Go.

Работа у нас — это:

• возможность реализовывать идеи в проекте с многомиллионной аудиторией;
• возможность предлагать инициативы, проводить эксперименты и внедрять собственные идеи;
• влияние на аналитическую платформу, которой пользуются десятки команд Авито, и на эффективность критичных бизнес-процессов компании;
• рабочее оборудование и всё необходимое для продуктивной работы;
• прозрачная система премий, условия компенсации обсудим на собеседовании;
• возможность внешнего и внутреннего обучения за счёт компании (курсы, тренинги, лекции, обмен опытом и менторство);
• забота о сотрудниках и их здоровье: с первого дня работы вы получите страховку со стоматологией, в офисе ведут приём терапевт и массажист;
• возможность удалённой работы и офис в 2 минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.