Технический аналитик на LLM-Router (экономика и качество LLM API)

LLM Router обеспечивает доступ к языковым моделям через API и маршрутизацию запросов между поставщиками. Проект растёт, и нам нужен независимый исполнитель-аналитик, который возьмёт на себя аудит экономики, биллинга и качества поставщиков.

Что нужно будет сделать:

• Отчёт по себестоимости и маржинальности в разрезе поставщиков, моделей и маршрутов — с причинами изменений и оценкой потенциальных финансовых потерь.

• Реестр расхождений между внутренними логами и биллингом поставщиков: перечень, финансовый эффект, установленные причины.

• Карта ошибок тарификации и учёта (некорректный учёт параметров запросов, обрывы стриминга, неполные данные о токенах, повторные запросы и др.) с приоритизацией.

• Регламент тестирования и оценки поставщиков: критерии приёмки, тестовые сценарии, порядок фиксации результатов и регулярной переоценки.

• Настроенный процесс подключения и отключения поставщиков: чек-лист доступных настроек и порядок координации доработок с технической командой.

• Инструмент регулярной сверки логов с биллингом: автоматические проверки, уведомления об отклонениях, дашборд состояния поставщиков.

• Готовый процесс регулярной отчетности по состоянию поставщиков: существенные отклонения, риски, предложения по оптимизации.

• Предложения по порядку поставщиков в каскаде с учётом экономики, стабильности и ограничений — с обоснованием данныхми.

• Независимая оценка качества поставщиков и корректности внутреннего учёта на основе данных: ошибки, задержки, успешность запросов, переключения между маршрутами.

Что мы ожидаем от исполнителя:

• Опыт самостоятельной аналитической работы в технических продуктах: от постановки задачи и проверки данных до выводов и внедрения изменений.

• Уверенное владение SQL: сложные объединения, оконные функции, агрегации, поиск пропусков и дублей, анализ больших объёмов событий.

• Владение Python для анализа данных, работы с API и автоматизации регулярных проверок.

• Понимание HTTP, REST API и JSON; умение самостоятельно выполнить тестовый запрос, изучить ответ и проанализировать логи.

• Понимание принципов потоковой передачи данных, таймаутов, повторных запросов и их влияния на учёт и стоимость.

• Понимание экономики продукта: себестоимость, выручка, маржинальность, влияние тарифов и технических ошибок на финансовый результат.

• Навыки сверки данных из разных источников, проверки полноты и достоверности, поиска первопричин расхождений.

• Умение формулировать требования к мониторингу и отчётности, составлять ТЗ для нашей технической команды и проверять результат.

• Системность, внимание к деталям; умение подтверждать выводы данными, обсуждать спорные вопросы конструктивно и доводить проблемы до решения.

Будет преимуществом:

• Опыт работы с PostgreSQL и ClickHouse.

• Опыт с биллингом, тарификацией, финансовыми сверками или контролем облачных расходов.

• Опыт аналитики API-сервисов, платёжных систем, телекома или других продуктов с большим объёмом транзакций.

• Опыт построения регулярного мониторинга, автоматических проверок и дашбордов.

• Знакомство с LLM API, учётом входных и выходных токенов, кешированием и маршрутизацией запросов.

Что мы предлагаем:

• Сотрудничество с самозанятым исполнителем.

• Формат оказания услуг не привязан к локации.

• Общая стоимость проекта: 180 000 рублей за отчетный период (/месяц) , предусмотрено увеличение бюджета в зависимости от конкретных задач.

• Реальное влияние на развитие проекта.

• Пространство для применения текущей экспертизы и приобретения новых компетенций.

Этапы:

1. Анализ резюме.

2. Тестовое задание.

3. Первичное организационное интервью.

4. Встреча с Head of LLM Router

5. Принятие решения о сотрудничестве и согласование объема услуг.