SRE инженер в команду Clickstream (Processing)

О команде

Команда Clickstream занимается потоковой обработкой и аналитикой в режиме реального времени событий на базе фреймворка Apache Flink, позволяя обрабатывать данные “на лету”. Мы разрабатываем задания на Java, обеспечивая непрерывную обработку данных 24/7.

Масштаб: тысячи типов аналитических событий, больше 500k RPS в пиковой нагрузке.

Основной стек - это Apache Flink (в кластере k8s), Apache Kafka, RocksDB, Ceph, ELK. Наша инфраструктура состоит из собственного k8s кластера работающего в 3-х ДЦ, в котором разворачиваются Flink задания, CI/CD инструментов для автоматизации жизненного цикла заданий, инструментов для e2e тестирования и многих других вспомогательных штук.

Примеры будущих задач:

• мониторинг жизнедеятельности кластера и решение возникающих проблем:
• доработка инструментов под новые требования:
• расширение и реализация нового инструментария:
• реализация новых заданий с использованием интеграция Python и FlinkSQL.

Вам предстоит:

• освоить процессы развертывания и обновления заданий;
• разобраться в инструментах тестирования;
• произвести обновление или исправить ошибку в работе Job;
• реализовать вспомогательный инструмент;
• написать простое FlinkSQL задание.

Мы ждём, что вы:

• имеете опыт установки и администрирования k8s кластеров;
• хорошо знакомы с Docker;
• работали с ELK стеком и можете найти нужные данные;
• пишете на Python;
• имеете опыт работы с базами данных и асинхронными очередями.

Будет здорово, если вы:

• работали с инструментами atlassian;
• имеете опыт администрирования Linux;
• хорошо знакомы с SQL.

Работа у нас — это:

• интересные и важные задачи на очень большом проекте
• передовые технологии и подходы, возможность пробовать новое
• опытные и заинтересованные коллеги, готовые оказать поддержку
• возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных
• личный бюджет на обучение, который можно тратить на книги, курсы и конференции
• забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист
• возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге