Просмотр вакансии

Нам нужен специалист, способный извлекать структурированные данные из интернета в больших масштабах и обеспечивать их надёжную обработку.

Вы будете создавать инфраструктуру веб-скрейпинга, используемую в нашем ИИ-конвейере.

Это не про пару скриптов.
Это про отказоустойчивые, поддерживаемые системы, работающие с антибот-защитами, динамическими сайтами и продакшн-нагрузкой.

Что вы будете делать

• Создавать и поддерживать крупномасштабные системы веб-скрейпинга на Python

• Извлекать структурированные данные для ИИ и бэкенд-конвейеров

• Работать с антибот-защитами, CAPTCHA и механизмами блокировки

• Проектировать отказоустойчивую и сопровождаемую инфраструктуру

• Работать самостоятельно, с полной ответственностью за результат

Что нам нужно

• Сильный практический опыт веб-скрейпинга на Python в продакшне

• Экспертиза в Selenium и работе с «враждебными» сайтами

• Опыт обхода антибот-механизмов: прокси, заголовки, тайминг, сессии

• Парсинг динамических сайтов: SPA, lazy-loading, аутентификация

• Docker и контейнеризация

• Опыт работы с PHP — существенный плюс

• Умение быстро диагностировать и устранять проблемы

Что нам не нужно

• Разработчики, работающие только со статическим HTML

• Люди, которые сдаются при блокировках

• Те, кто ожидает «чистые и стабильные» сайты-источники

Скрейпинг — это сложно.
Если вы не готовы преодолевать неопределённость, эта роль вам не подойдёт.