Computer Vision Engineer

Описание задачи: Доработка системы визуальной локализации БПЛА (VLOC)

О проекте:

MVP-версия дашборда для трекинга дрона в реальном времени. Система принимает видеопоток, сопоставляет его с эталонными видеозаписями (к которым привязаны координаты) и отображает положение дрона на карте Leaflet. Проект рассчитан на локальный запуск (1-2 потока одновременно).

Железо: Ноутбук с мобильной RTX 5050.

Стек: Python 3.10+, FastAPI, SQLite, Docker. Фронтенд: чистый JS + Leaflet.js.

Что уже РЕАЛИЗОВАНО :

Вся обвязка и инфраструктура готовы и работают:

Захват потока (RTSP/WebSocket) с аппаратным декодированием (NVDEC).

Zero-latency буфер (алгоритм всегда забирает только самый свежий кадр, пропуская очередь).

API-эндпоинты (FastAPI) и передача данных на фронтенд по WebSockets.

База данных (SQLite), где лежат эталонные кадры и их GPS-координаты.

Модели SuperPoint и LightGlue уже заведены в проект и крутятся на CUDA.

В чем текущая проблема

Сейчас модуль локализации работает по принципу примитивного Image Retrieval. Он использует ResNet18: находит максимально похожий кадр в базе и копирует его координаты. Из-за этого нет Pose Estimation, если дрон летит параллельно эталонному маршруту, метка на карте не смещается, а прилипает к эталонному треку.

Что нужно сделать:

Необходимо переписать математику, осуществив переход от Retrieval к честному Pose Estimation и добавив расчет геометрии для видео-слоя.

Задача 1: Точная локализация (Метка дрона)

Feature Matching: Использовать связку SuperPoint + LightGlue для нахождения соответствий между Live-кадром и ближайшим кадром из эталона.

Metric Offset: На основе найденных матчей вычислять вектор смещения в метрах (через матрицу гомографии или PnP) с учетом перспективных искажений.

GPS-коррекция: Прибавлять полученное метрическое смещение к координатам эталонного кадра для получения реальной точки .

Фильтрация: Жесткий RANSAC для исключения выбросов (ложных матчей на лесах/полях), чтобы метка не прыгала. Выдача индикатора уверенности 0-100% .

Задача 2: Real-time Video-to-Map Overlay (слой на карте)

На бэкенде рассчитывать точные GPS-координаты 4-х углов текущего кадра ( проекция на плоскость земли). 

Трансформация перспективного изображения в ортофотоплан (вид сверху) в real-time.

Temporal Smoothing: Внедрить сглаживание координат углов (фильтр Калмана или экспоненциальное среднее). Видео аналоговое, матчи могут шуметь, углы не должны дрожать на фронтенде.

Отдавать эти 4 точки по сокету на фронтенд (там они уже будут применяться к видео-контейнеру через CSS matrix3d).

Ограничения и нюансы:

Телеметрии и данных IMU в базе нет (дрон летит в один конец). Всю геометрию, наклон камеры и смещение нужно вытаскивать исключительно из визуальных признаков (разложение гомографии) с учетом известной примерной высоты из эталона.

Обязательна привязка расчетов к PTS видеопотока для исключения рассинхрона видео и метки.

Требования к исполнителю:

Уровень Senior (от 5 лет в CV).

Опыт работы с Visual SLAM, 6DoF Pose Estimation, Visual Odometry.

Уверенное владение OpenCV , глубокое понимание матриц проекции, гомографии и перевода пикселей в метрическую систему координат.

Опыт оптимизации пайплайнов под real-time (TensorRT/ONNX Runtime).

Проект Mvp и рассчитывается для демонстрации возможностей. Указанные задачи реально выполнить за две недели.