Разработчик в группу скачивания

В интернете бесчисленное множество страниц, которые к тому же постоянно меняются. И для того чтобы поиск Яндекса мог показывать страницы по запросам, поисковой системе необходимо регулярно посещать сайты и индексировать их: эффективно и быстро скачивать контент новых страниц и обновлять данные о старых. От этого во многом зависит успех поиска в целом.

Мы постоянно улучшаем эту сложную систему, и нам нужны единомышленники, которые помогут сделать наших пользователей счастливее. Наша команда ищет способы более эффективно скачивать ресурсы из интернета и рендерить динамические страницы, поддерживает и улучшает инструменты для потоковой обработки скачанных данных.

Наш стек:

• C++, Golang
• Linux

Какие задачи вас ждут

Доработка и оптимизация «качалки» интернета и подсистем
Вы займётесь поддержкой новых протоколов, обходом банов, оптимизацией скорости прокачки. Нужно будет дорабатывать и оптимизировать подсистемы для рендеринга и скачивания динамических страниц и ресурсов. Всё это в рамках системы, которая принимает до 300 000 запросов в секунду.

Разработка realtime-обработчика скачанных документов
Вы будете заниматься многопоточной системой для потоковой обработки скачанных данных. Парсинг страниц, формирование частей индекса, применение пользовательского кода, отправка результатов сотням клиентов — только часть того, что происходит в этом обработчике.

Развитие поддержки системы
Вы будете дополнять существующие метрики, логирование и трассировку, улучшать вьюеры и средства отладки, налаживать тестирование наших систем.

Мы ждем, что вы

• Уверенно владеете С++ и новыми стандартами
• Имеете понятие о многопоточном программировании
• Понимаете, как работают основные web-технологии
• Пишете эффективный и понятный код
• Способны объяснять свои решения и договариваться с коллегами
• Самостоятельны и готовы работать в команде

Будет плюсом, если вы

• Владеете JS