Просмотр вакансии

О проекте

Мы развиваем собственную систему разметки данных (СРД) — платформу автоматической классификации контента.

В основе системы — большое количество специализированных CV и NLP моделей, каждая из которых отвечает за отдельную задачу: определение объектов, признаков, нарушений, характеристик контента и других категорий.

Сейчас перед нами стоит задача масштабировать разработку ML-направления: перейти от разработки отдельных моделей к промышленному процессу создания, обучения, оценки и эксплуатации большого количества моделей.

Ищем Senior ML Engineer, который поможет построить культуру MLOps и организовать эффективную ML-фабрику.

Чем предстоит заниматься

Разработка CV/NLP/Audio/Video моделей

Создавать и улучшать атомарные ML-модели для различных категорий:

• классификация изображений;
• object detection;
• OCR / обработка текста;
• NLP-классификация;
• ASR (Automatic Speech Recognition)
• Video Action Recognition
• Video Captioning / Summarization
• multimodal модели (изображения, аудио, видео, текст).

Работать с современными архитектурами:

• CNN;
• Transformers;
• Vision Transformers;
• CLIP-like подходы;
• foundation models.

Построение процесса массового обучения моделей

Нам важно не просто обучить одну модель, а создать процесс, позволяющий быстро производить десятки и сотни моделей.

Предстоит:

• проектировать стандартный lifecycle модели;
• создавать reusable training pipelines;
• автоматизировать обучение;
• внедрять единый подход к экспериментам;
• стандартизировать оценку качества моделей;
• ускорять вывод моделей в production.

Внедрение MLOps культуры

Организовать процессы:

• experiment tracking;
• model registry;
• версионирование моделей;
• контроль качества моделей;
• управление артефактами обучения;
• воспроизводимость экспериментов.

Настроить процессы:

dataset training evaluation model registry deployment

Работа с данными

Участвовать в построении правильных процессов подготовки данных:

• проведение разведочного анализа данных (EDA)
• формирование обучающих датасетов;
• организация, контроль и анализ качества разметки;
• поиск ошибок в данных;
• работа с дисбалансом классов;
• hard negative mining;
• active learning подходы;
• улучшение моделей через улучшение данных.

Production ML

Совместно с backend-командой интегрировать модели в production:

• оценивать необходимые вычислительные ресурсы под рост нагрузки;
• рассчитывать требования к CPU/GPU инфраструктуре;
• прогнозировать стоимость inference;
• проектировать эффективный запуск большого количества моделей;
• оптимизировать latency и throughput.
• подготовка моделей к inference;
• оптимизация скорости работы;
• мониторинг качества;
• анализ деградации моделей;
• обновление версий моделей;
• документирование ML-моделей (Swagger, Карточки моделей).

Что ожидаем

Обязательно:

• опыт 4+ лет в Machine Learning / ML Engineering;
• опыт доведения ML-моделей до production;
• уверенное знание Python;
• опыт с PyTorch;
• опыт разработки CV и/или NLP решений.

Хорошее понимание:

• как правильно организовать обучение моделей;
• как выбирать метрики качества;
• как строить train/validation/test;
• как анализировать ошибки моделей;
• как улучшать качество через данные.

Опыт с:

• Transformers;
• pretrained/foundation models;
• transfer learning;
• fine-tuning.

Опыт внедрения MLOps инструментов:

• MLflow;
• Weights & Biases;
• Kubeflow;
• Airflow;
• DVC.

Опыт с:

• Docker;
• Kubernetes;
• FastAPI;
• Triton Inference Server;
• model serving.

Опыт с инструментами разметки:

• Label Studio;
• CVAT.

Опыт с большими объемами данных:

• S3/MinIO;
• PostgreSQL;
• vector search / embeddings.

Кого мы ищем

Нам нужен инженер, который:

• умеет не только обучать модели, но и строить ML-процессы;
• понимает разницу между research-кодом и production ML;
• стремится автоматизировать повторяющиеся задачи;
• умеет превращать эксперименты в стабильные пайплайны;
• мыслит системно.

Цель роли — построить фундамент, который позволит нашей команде быстро создавать и развивать большое количество моделей.