Data analytics (GigaSearch)

Описание

Мы — команда GigaSearch, создаём поисковый сервис, который отвечает на запросы пользователей на естественном языке. Наша миссия: дать GigaChat доступ к актуальной информации, чтобы пользователи получали точные ответы на любые вопросы — включая самые свежие новости и события. Инженер данных в нашей команде — это человек, который строит “платформу качества”: собирает и сводит данные из разных источников, делает витрины и датасеты для оценки, автоматизирует пайплайны и мониторинг, в том числе — в реальном времени, чтобы деградации находились быстрее, чем их увидят пользователи. Если вам интересно работать на стыке data engineering, продуктовой аналитики и поиска — и вы хотите не просто “переливать данные”, а делать инфраструктуру, на которой стоит культура качества AI-продукта — приходите к нам. Над чем мы работаем: * единая модель данных для оценки качества ретривера и итогового ответа LLM на продакшн-трафике * медальонная архитектура в ClickHouse: bronze (raw) → silver (очищено/нормализовано) → gold (витрины под метрики и мониторинг) * автоматические пайплайны оценки и переоценки качества (включая LLM-as-a-judge) и их воспроизводимость * витрины и датасеты для оффлайн/онлайн-оценки, A/B-экспериментов и расследований деградаций * мониторинг качества данных на потоке: свежесть, полнота, задержки, аномалии, регрессии.

Обязанности

* проектировать и поддерживать ELT/ETL пайплайны в Airflow (надёжность, идемпотентность, ретраи, backfill, SLA) * организовать ingestion между БД с понятными контрактами данных * развивать медальонные слои в ClickHouse: raw-таблицы, нормализация/обогащение, gold-витрины под метрики качества поиска * делать аналитику “почти real-time” в ClickHouse: инкрементальные расчёты, материализованные представления, предагрегации, оптимизация задержек end-to-end * разрабатывать витрины и агрегаты: партиционирование, ключи сортировки, управление TTL, контроль стоимости запросов и времени ответа.

Требования

* опыт в analytics engineering от 3 лет (уровень middle+ / senior) * очень сильный SQL и практический опыт построения витрин (ClickHouse и/или PostgreSQL; оконные функции, сложные агрегации, оптимизация) * уверенный Python для задач ETL/ELT (парсинг, валидация, интеграции, утилиты для пайплайнов) * опыт с Airflow в проде (DAG design, зависимости, эксплуатация, backfill) * хорошее понимание архитектуры данных и жизненного цикла датасетов (raw → нормализация → витрины), умение делать решения поддерживаемыми. **Будет плюсом** * dbt или аналогичный подход к управлению SQL-моделями (тесты, документация, зависимости) * опыт с логами поиска/клика (показы выдачи, клики, сессии, dwell time) и склейкой событий * опыт построения мониторинга/дашбордов (Grafana / Superset / DataLens) * опыт с Kafka/очередями, Kubernetes, Terraform/Ansible, CI/CD для data-проекта * знакомство с OpenSearch/Elastic как компонентом поисковой системы.

Условия

* комфортный современный офис рядом с м. Кутузовская * гибридный формат работы (на испытательном сроке посещаем офис, далее 2-3 дня в неделю - работаем из дома). * ежегодный пересмотр зарплаты, годовая премия * корпоративный спортзал и зоны отдыха * система обучения для профессионального и карьерного развития * расширенный полис ДМС с первого дня работы и страхование для семьи * программа ипотеки для сотрудников * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.