Junior Data Engineer

Авиастатс – продукт внутри Авиасейлс, суть которого заключается в продаже клиентам данных о ценах, поисках и пассажиропотоке.
В отличие от классического DWH, который обычно стоит немного в стороне, Авиастатс – это B2B продукт, поэтому есть возможность быть близко к бизнес-требованиям, решать актуальные задачи и имплементить требования клиентов с минимальным лагом. При этом, рядом всегда есть команда дата инженеров, которая занимается хранилищем Авиасейлс, к которым можно сходить за советом.

Наш стек:

• Python 3.8+, но для загрузки данных из Kafka используется Flink;
• Airflow в качестве основного оркестратора, переносим туда задачи из старого самописного оркестратора (на Python);
• Amazon S3 для хранения данных и Athena для работы с ними;
• Apache Impala в качестве основного аналитического хранилища, поверх которого работает часть витрин. Мы в процессе переезда с Impala и в будущем мы уйдем от ее использования, полностью заменив на S3 и Athena;
• Redash в качестве инструмента визуализации, но это, скорее всего, тоже изменится.

Что нужно будет делать:

• разовые кастомные выгрузки по запросу;
• повторные выгрузки данных, которые должны были отправиться / которые отправились, но оказались некорректными;
• отвечать клиентам на вопросы о корректности данных;
• дорабатывать существующие экспортеры (регулярные выгрузки);
• дежурить (что-то упало, поднять, починить) в рабочее время.

Что мы ждем от тебя:

• опыт работы в роли Python разработчика или Data Engineer от года, отличные навыки ООП;
• знание SQL;
• теоретические знания о системах оркестрации, знания или опыт с облачными сервисами будет плюсом.

Как мы работаем:

• в любой точке мира: не привязываемся к локации, платим в долларах, любим путешествовать;
• без бюрократии: удобные процессы здорового человека, горизонтальные и открытые коммуникации, быстрое обсуждение идей и принятие решений;
• компенсируем: ДМС, психотерапию или иностранные языки, занятия спортом и больничный;
• на райском острове: можно работать на Пхукете с видом на океан.