Разработчик в команду сервисов обработки данных

Наша команда разрабатывает сервисы Yandex Cloud Data Proc и Managed Service for Apache Kafka®, которые позволяют программистам экономить время на решении аналитических задач. Мы строим инфраструктуру для обслуживания кластеров с Kafka®, Spark™, Hadoop®, сами принимаем продуктовые решения, программируем на Python 3 и Go с упором на последний.

Сейчас мы ищем человека, которому интересно работать с большими объёмами данных и строить управляющую платформу. У нас вы сможете активно участвовать в развитии продукта и влиять на результат.

Какие задачи вас ждут

Разработка интеграций для ML/DL-сервисов (например, Yandex DataSphere)
Вы будете проектировать и реализовывать интеграции с сервисами машинного и глубокого обучения, обеспечивая их взаимодействие с другими компонентами платформы. В задачи входит работа с API, настройка обмена данными, оптимизация производительности и отладка сценариев использования.

Интеграция с внешними системами (Apache Airflow®, HashiCorp Terraform)
Предстоит разрабатывать и поддерживать интеграции с популярными инструментами оркестрации (Airflow) и управления инфраструктурой (Terraform). Это включает создание плагинов, коннекторов, автоматизацию развёртывания и обеспечение стабильности работы в различных окружениях.

Развитие внутренних интеграций (ClickHouse, Kafka, DataLens, KMS)
Вы будете улучшать взаимодействие между внутренними продуктами компании: настраивать передачу данных через Kafka, оптимизировать запросы в ClickHouse, интегрировать системы с DataLens для визуализации и обеспечивать безопасность через KMS.

Разработка Control Plane для управления кластерами
Вам предстоит создать или доработать единую систему управления кластерами (Control Plane), которая позволит централизованно контролировать их состояние, масштабирование, обновления и мониторинг.

Развитие дистрибутива Data Proc и создание новых сервисов
Вы будете участвовать в развитии Data Proc: добавлять новые компоненты, обновлять существующие, а также проектировать и внедрять сервисы для обработки данных, учитывая требования производительности и отказоустойчивости.

Мы ждем, что вы

• Работали с операционными системами GNU или Linux
• Разрабатывали и отлаживали сетевые приложения
• Уверенно владеете Python, Go или Java

Будет плюсом, если вы

• Работали с Hadoop, Spark, Kafka, Flink®
• Работали с другими облаками