Просмотр вакансии

Мы команда в Ozon Tech, которая занимается автоматизацией коммуникаций с нашими пользователями. Основное направление работы команды «Модели оценки качества работы ботов» - разработка офлайн и реалтайм решений вокруг процессов оценки ML-моделей.

В списке наших проектов:

• Агенты для консультации пользователей.
• ML-решения для RAG-платформы (эмбеддеры, ретриверы, LLM).
• Ряд текстовых ботов, определяющих намерения клиентов (классификаторы, LLM).
• ML-решения для платформы текстовой аналитики (тренды обращений, семантический поиск, кластеризация, генерация).
• Помощники операторов (векторный поиск, классификаторы, LLM).

Наш стек: Python, asyncio, Pytorch, Transformers, Triton Inference Server, vllm, gRPC, Git, CI/CD , SQL, S3, Redis, Clickhouse, Kafka

Вы будете

• Погружаться в особенности создания наших проектов.
• Частью центра принятия решений о релизе моделей.
• Создавать и улучшать процессы вокруг оценки ML-решений.
• Проводить аудит поведения всех типов моделей отдела.
• Заботиться о качестве артефактов для построения и оценки моделей.
• Работать с LLM и LLM apps.
• Разрабатывать решения для реалтайм анализа динамики ведения диалога агентами с пользователем.
• Создавать инструменты для автоматической валидации решений на основе LLM (в том числе симуляции взаимодействия с агентами).
• Прототипировать ML-решения для проверки гипотез о влиянии на метрики.
• Задавать стандарты в оценке поведения и качества ответов агентов.

Нам важно

• Опыт работы Data Scientist от 3х лет.
• Опыт работы с NLP от 2 лет.
• Практический опыт проведения процедур оценки LLM-решений.
• Опыт работы с агентами для консультации пользователей.
• Понимание ограничений LLM.
• Умение писать продакшн-код.
• Подготовка понятных отчетов.
• Умение объяснить сложные метрики понятным языком.

Будет плюсом

• Опыт в аудите ML-решений.
• Опыт разработки агентских систем.
• Опыт в постановки заданий на разметку асессорам и приемка результатов.