Data Engineer

ЛИАН — системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

В рамках проекта требуется специалист, который поможет перевести ключевые процессы обработки данных с классического SQL на потоковую обработку (streaming) в Apache Flink.

Чем предстоит заниматься:

• Участие в замене SAP на кастомную реализацию с использованием Apache Flink

• Перевод существующих SQL-логик и ETL-процессов в потоковую обработку (streaming) на Flink

• Поддержка потоковых пайплайнов на Java + Flink

• Интеграция с системами-источниками и приемниками данных через Kafka

• Участие в проектировании архитектуры нового решения

• Работа в команде с аналитиками и инженерами данных

Наши пожелания к кандидатам:

• Apache Flink: Реальный коммерческий опыт работы с потоковой обработкой (streaming) и stateful processing.

• Kafka: Опыт работы с продьюсерами и консьюмерами. Kafka Streams (библиотека для потоковой обработки).

• DWH: Опыт работы с хранилищами данных.

• ClickHouse (любой опыт).

• Java: Уверенное знание многопоточности, коллекций, Stream API.

• SQL: Умение писать сложные запросы, понимание оконных функций, навыки оптимизации.

• Архитектура данных: Понимание принципов миграции с классических ETL/ELT на потоковую обработку.

• S3 хранилище (любой опыт)

• Data Lake: Знание форматов (Parquet/ORC) и концепций (снапшоты, инкременты) на примере Iceberg или аналогов.

• SAP (опыт работы с SAP как с источником данных).

• Spark (любой опыт).

• Визуализация и витрины: Опыт построения дашбордов/витрин с использованием Trino, SQL или dbt.

Что мы предлагаем:

• Форма трудоустройства на ваш выбор: договору оказания услуг с ИП или самозанятым
• Участие в интересных масштабных проектах с Заказчиками федерального и международного уровня
• Работа с передовыми технологиями
• Возможности профессионального и карьерного роста
• Полностью удаленная работа
• Регулярная и достойная оплата труда

В нашей команде работают профессионалы с разносторонним опытом. Здесь ты найдешь профессиональные задачи и новые вызовы, сможешь реализовать свой потенциал.
Хочешь стать частью нашей команды? Мы ждем твоего отклика и свяжемся с тобой !