Data Engineer (Разработчик SQL)

Описание

В кластере генеративных рекомендаций мы строим индивидуальные клиентские сценарии на стыке больших данных, истории общения и генеративного ИИ. Конкретно наша команда «Центр коммуникаций» извлекает знания из эпизодов общения с клиентами (транскрибированные записи переговоров, чаты переписок, общение с AI‑помощником и т.д.). Вызовом для нас стал проект реализации для кластера единого, надежного и содержательного хранилища всех коммуникаций банка с клиентом. Это «источник правды», от которого зависит точность управленческих решений и персонализация сервиса. Поэтому к нашим отлаженным процессам на LLM-инструментах добавляем надежные промышленные ETL-процессы. Для нас это узкое место – приходится привлекать Дата-Инженеров из других команд. Мы ищем того, кто возьмет SQL-разработку в свои руки и снимет это ограничение. Новому члену команды предстоит на основе ТЗ аналитиков создавать быстрый и надежный код для расчетов, грамотно организовывать хранение и обработку данных, обеспечивая бесперебойную поставку информации внутренним заказчикам как в промышленном, так и в лабораторном контуре.

Обязанности

* разработка витрин данных по техническим заданиям * организация сбора и загрузки структурированных и неструктурированных данных из различных источников. Подготовка, очистка и предобработка данных * оптимизация процессов обработки и хранения больших объемов информации * написание и оптимизация сложных SQL-запросов * разработка функций и хранимых процедур на PL/pgSQL * разработка и поддержка DAG'ов (Directed Acyclic Graphs) в Apache Airflow для оркестрации и автоматизации регулярных ETL-процессов обновления данных * работа на тестовых средах, участие в приемо-сдаточных испытаниях (ПСИ) и сопровождение вывода релизов в промышленную эксплуатацию * обеспечение качества данных: настройка автоматических проверок целостности, консистентности и полноты загружаемой информации (Data Quality) * работа в качестве третьей линии поддержки (3ЛС): поиск и устранение причин инцидентов и падений потоков обработки данных * управление бэклогом задач: приоритизация доработок, коммуникация с аналитиками и разработчиками смежных команд.

Требования

* знание одного или нескольких диалектов SQL (структура хранения, написание продвинутых запросов, оптимизация), опыт создания/изменения объектов БД * промышленный опыт работы с СУБД и хранилищами данных (GreenPlum, PostgreSQL, Elasticsearch и т.д.) * опыт работы с системами контроля версий Git/Bitbucket * знание Python на базовом уровне * внимательность к деталям, дотошность, настойчивость, умение раскапывать истинные причины, а не просто «чинить» последствия падений. **Будет плюсом:** * опыт работы с Jira, Confluence * опыт работы с оркестраторами (Apache Airflow, Dagster, Prefect) будет значительным преимуществом. Готовность освоить Airflow в короткий срок — обязательно * опыт проведения Code Review * знание банковских продуктов корпоративного бизнеса * умение находить баланс между «правильно» и «быстро».

Условия

Что мы предлагаем: • удобный офис в СПб на ул. Уральской, дом 1 (с бесплатной развозкой от метро) • **офисный формат работы** • регулярный пересмотр заработной платы и возможность получения годовой премии • доступ к более чем 400 образовательным программам СберУниверситета • программу адаптации и поддержку наставника на первых этапах работы • расширенную медицинскую страховку (ДМС) и выгодные условия страхования для членов семьи • ипотечные программы для сотрудников • бесплатные подписки СберПрайм+ и бонусы партнёров • вознаграждения за рекомендации кандидатов.