Data Engineer (ОК)

Команда OK.TECH объединяет сотни специалистов разработки, дизайна, маркетинга, машинного обучения, поддержки пользователей и не только. Каждый из нас влияет на то, каким увидят ОК миллионы пользователей.

Наша команда занимается анализом и хранением данных. Сейчас мы ищем человека на роль Data Engineer.

Вашей основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus-стека технологий.

Задачи

• Разработка и оптимизация расчётов в Spark на YTsaurus.
• Построение новых и рефакторинг старых ETL-процессов.
• Доработка существующего фреймворка расчётов (Java + Spark).
• Миграция и внедрение новых технологий обработки данных.
• Разработка отчётов в SuperSet.

Требования

• Опыт работы с Spark, SQL и большими объёмами данных.
• Опыт построения сложных ETL-процессов.
• Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем.
• Желателен опыт работы с Hadoop-стеком, ClickHouse, Spark, Java, Airflow.

Будет плюсом опыт работы с YTsaurus, YQL.

Мы предлагаем

• Гибкий график работы.
• Бонусы и скидки от партнеров.
• Офис в центре города.
• ДМС.
• Профессиональная команда.
• Интересные задачи.