Python разработчик (Gigadata)

Описание

Команда занимается сбором качественных данных, которые принципиально важны для обучения передовых моделей ИИ.

Обязанности

* проектировать и разрабатывать ключевые компоненты распределённой системы массового краулинга * оптимизировать пропускную способность системы: асинхронный I/O, connection pooling, DNS-кэширование, батчинг запросов * проектировать и развивать архитектуру URL-фронтира: шардирование, приоритизация, дедупликация на масштабе миллиардов URL * разрабатывать интеллектуальные crawl-планировщики: адаптивное расписание обхода, приоритизация по freshness и значимости * реализовывать механизмы обнаружения и обхода crawler-ловушек (spider traps, infinite loops) * проектировать пайплайны обработки данных: парсинг, нормализация, дедупликация контента, индексация * обеспечивать отказоустойчивость на уровне архитектуры: stateless-воркеры, автоматический failover, graceful degradation * оптимизировать использование ресурсов: CPU, память, сетевой bandwidth, стоимость облачных ресурсов * разрабатывать системы мониторинга и observability для контроля здоровья краулера в реальном времени * работать с геораспределённой инфраструктурой для снижения латентности и увеличения покрытия.

Требования

* Коммерческий опыт разработки на Python от 6 лет * Глубокая экспертиза в асинхронной и мультипоточной разработке (asyncio, uvloop, multiprocessing) * Отличное понимание сетевого стека: TCP/UDP, HTTP/1.1/2/3, TLS, DNS, WebSocket * Опыт проектирования и эксплуатации распределённых систем высокой нагрузки * Практический опыт работы с веб-краулерами на масштабе (десятки миллионов страниц в сутки) * Опыт работы с распределёнными очередями и потоковыми системами (Kafka, Redis Streams, RabbitMQ) * Опыт работы с реляционными (PostgreSQL) и нереляционными БД (Redis, ClickHouse, MongoDB) * Понимание принципов consistent hashing, шардирования, репликации * Опыт работы с Docker, Kubernetes, CI/CD * Навыки глубокого troubleshooting: tcpdump, strace, perf, flamegraphs * Опыт проведения Code Review и формирования технических стандартов.

Условия

* Крупнейшее DS&AI community — более 600 DS-специалистов банка * Дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира * Возможность быть соавтором НИРов и статей для международных конференций * Возможность выбрать удобный формат работы: гибрид или офис * Ежегодный пересмотр зарплаты, годовая премия * Корпоративный спортзал и зоны отдыха * Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * Вознаграждение за рекомендацию друзей в команду Сбера