Аналитик-разработчик в Международный поиск с Алисой

Поиск с Алисой — это не просто выдача ссылок. Он создаёт подробные структурированные ответы с разделами, картинками и видео. Но как понять, что качество этих ответов хорошее?

На этот вопрос можно отвечать по-разному: например, классический подход — анализировать поведение пользователей. Но современный интернет стал настолько сложным, что часто одних онлайн-метрик недостаточно. Поэтому мы подходим к задаче комплексно: дополнительно строим офлайн-приборы, которые позволяют перед экспериментами заранее отвечать на конкретные практические вопросы. Соответствуют ли ответы запросам пользователей? Стали ли они лучше? Как часто в них встречаются серьёзные ошибки?

Вы будете не просто анализировать данные, а создавать правила и метрики, которые станут детектором качества для ответов.

К чему мы стремимся?

Сделать поиск нового поколения
Не просто выдачу ссылок, а интеллектуального помощника, способного решать задачи пользователя на месте, без необходимости переходить куда-либо.

Не только на русском
Мы запускаемся в новых регионах, где нас ждут новые вызовы, связанные с языковыми и региональными особенностями.

К богатым ответам
Наша цель — ответы, где текст, видео и картинки работают вместе. Мы делаем информацию живой, чтобы она запоминалась с первого взгляда.

Не врать!
Никаких домыслов или «креативных интерпретаций». Мы строго следим, чтобы ответы опирались на проверенные данные, а каждое утверждение подкреплялось надёжными источниками. Мы учим модели не фантазировать, а опираться на факты, даже если это сложнее.

У нас классно, потому что:

• Мы работаем над Поиском с Алисой — продуктом Яндекса на основе LLM — и ориентированы прежде всего на результат в продакшене
• Наши задачи тесно связаны и с дизайном самого продукта, и с ML
• Мы даём возможность развивать как технические, так и коммуникативные и менеджерские навыки
• Ваша работа прямо повлияет на то, каким станет Поиск с Алисой через полгода
• Мы делаем уникальные по сложности, масштабу и архитектуре краудсорс-проекты
• У нас слаженная команда аналитиков и ML-инженеров качества

Какие задачи вас ждут

Отвечать за работу асессоров в краудсорс-проекте
Ключевой этап проекта — генерация разметки данных силами асессоров. В ваши задачи войдёт обеспечение своевременного и качественного выполнения плана по разметке, управление производительностью исполнителей и улучшение качества их работы.

Разрабатывать и внедрять методологии и инструменты оценки качества работы асессоров
Вам предстоит спроектировать и реализовать надёжные методы оценки и контроля, создать процессы, позволяющие понимать, кто из исполнителей делает качественную разметку, а кто генерирует «шум».

Развивать комплексную систему управления эффективностью асессоров
Измерение качества лишь первый шаг. Вам необходимо выстроить сквозные процессы, влияющие на результат. Вы будете создавать программы обучения и собирать обратную связь, чтобы развивать навыки асессоров и устранять ошибки, формировать чёткие критерии для отсева исполнителей неэффективных или систематически допускающих ошибки. Ваша задача — спроектировать эти процессы и обеспечить техническую реализацию.

Обеспечивать надёжное хранение, обработку и доступность данных разметки
Генерация разметки производит значительные объёмы данных. Вы будете отвечать за проектирование и поддержку инфраструктуры, гарантирующей целостность и сохранность этих данных. Это включает разработку и поддержку ETL-процессов для очистки, трансформации и загрузки данных в аналитические хранилища, создание механизмов фильтрации и агрегации, формирование удобных для анализа таблиц и представлений.

Разрабатывать систему дашбордов на базе DataLens для оперативного мониторинга и принятия решений
Для эффективного управления проектом и пулом асессоров необходима прозрачность ключевых метрик. Вам предстоит создавать интуитивно понятные и информативные дашборды, визуализирующие KPI проекта (объёмы, сроки, стоимость и т. д.).

Мы ждем, что вы

• Пишете на Python и SQL
• Знаете математическую статистику и теорию вероятностей
• Любите работать с данными и умеете извлекать из них практический результат
• Умеете общаться в команде, ясно излагать мысли, понимать и убеждать коллег
• Готовы разбираться в том, как и почему должен работать продукт

Будет плюсом, если вы

• Работали с Толокой или другими краудсорс-платформами
• Писали инструкции и самостоятельно запускали проекты разметки данных