SRE-инженер (Clickstream / Processing)

В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы.

О команде

Команда Clickstream занимается потоковой обработкой и аналитикой в режиме реального времени событий на базе фреймворка Apache Flink, позволяя обрабатывать данные “на лету”. Мы разрабатываем задания на Java, обеспечивая непрерывную обработку данных 24/7.

Масштаб: тысячи типов аналитических событий, больше 500k RPS в пиковой нагрузке.

Основной стек — это Apache Flink (в кластере K8s), Apache Kafka, RocksDB, Ceph, ELK. Наша инфраструктура состоит из собственного k8s кластера работающего в 3-х ДЦ, в котором разворачиваются Flink задания, CI/CD-инструментов для автоматизации жизненного цикла заданий, инструментов для e2e-тестирования и многих других вспомогательных штук.

Примеры будущих задач

• Мониторинг жизнедеятельности кластера и решение возникающих проблем.
• Доработка инструментов под новые требования.
• Расширение и реализация нового инструментария.
• Реализация новых заданий с использованием интеграция Python и FlinkSQL.

Вам предстоит

• Освоить процессы развертывания и обновления заданий.
• Разобраться в инструментах тестирования.
• Произвести обновление или исправить ошибку в работе Job.
• Реализовать вспомогательный инструмент.
• Написать простое FlinkSQL-задание.

Мы ждём, что вы

• Имеете опыт установки и администрирования K8s-кластеров.
• Хорошо знакомы с Docker.
• Работали с ELK-стеком и можете найти нужные данные.
• Пишете на Python.
• Имеете опыт работы с базами данных и асинхронными очередями.

Будет здорово, если вы

• Работали с инструментами Atlassian.
• Имеете опыт администрирования Linux.
• Хорошо знакомы с SQL.

Работа у нас — это

• Интересные и важные задачи на очень большом проекте.
• Передовые технологии и подходы, возможность пробовать новое.
• Опытные и заинтересованные коллеги, готовые оказать поддержку.
• Возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных.
• Личный бюджет на обучение, который можно тратить на книги, курсы и конференции.
• Забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист.
• Возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге.