Data Engineer

Наша команда занимается анализом и хранением данных. Сейчас мы ищем человека на роль Data Engineer.

Вашей основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus-стека технологий.

Задачи

• Разработка и оптимизация расчётов в Spark на YTsaurus
• Построение новых и рефакторинг старых ETL-процессов
• Доработка существующего фреймворка расчётов (Java + Spark)
• Миграция и внедрение новых технологий обработки данных
• Разработка отчётов в SuperSet

Требования

• Опыт работы с Spark, SQL и большими объёмами данных
• Опыт построения сложных ETL-процессов
• Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем
• Желателен опыт работы с Hadoop-стеком, ClickHouse, Spark, Java, Airflow
• Будет плюсом опыт работы с YTsaurus, YQL