Data Engineer в команду Clickstream (Flink)

О команде

Наша команда разрабатывает Flink Jobs. Наши заказчики - это аналитики и/или инженеры Авито. Мы сами предлагаем решения, устанавливаем требования к функционалу, вырабатывая ТЗ “на лету” - к нам приходят не с конкретной постановкой, а с бизнес-проблемой, техническое решение которой придумываем мы сами.

Помимо написания кода мы обеспечиваем стабильную работу всех джоб нашего кластера - а это значит оперативные разборы инцидентов, разборы стактрейсов, детективные расследования неожиданных проблем. Наши джобы должны работать 24/7 в рамках SLA, никогда не останавливаться и не тормозить.

Еще мы исследуем новые инструменты и сетапы для нашего кластера, решаем, как правильно построить пайплайн и сделать риалтайм аналитику удобной для всех.

Примеры будущих задач:

• разработка Flink Job.

Вам предстоит:

• проектировать и программировать Flink джобы со сложной логикой и динамическим ETL;
• дорабатывать и автоматизировать существующие инструменты;
• интегрироваться с другими аналитическими решениями;
• изучать и внедрять новые инструменты.

Мы ждём, что вы:

• хорошо знаете Java и пишете оптимальный читабельный код;
• понимаете основные структуры данных и алгоритмы;
• имеете представление об архитектуре распределенных приложений;
• разбираетесь в современных хранилищах данных;
• умеете разбираться в новых инструментах и фреймворках, а также в их работе под капотом;
• умеете работать самостоятельно и в команде.

Будет здорово, если вы:

• разбираетесь в разработке стриминговых приложений;
• имеете опыт с Apache Flink, Kafka Streams, Spark Streaming или другим стриминговым движком; профессионально работали с Kafka;
• имеете боевой опыт работы с RocksDB;
• работали с ClickHouse, Vertica, Spark.

Работа у нас — это:

• возможность реализовать свои идеи в проекте с многомиллионной аудиторией;
• талантливая команда, готовая поддержать ваши инициативы;
• мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы;
• прозрачная система премий, достойная зарплата — размер обсудим на собеседовании;
• личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
• забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;
• удалёнка из любой точки мира или замечательный офис в двух минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.