Город: Москва
Занятость: Полная, 5/2
Опыт работы: От 3 до 6 лет
Ищем Python-разработчика в команду AI. Предстоит разрабатывать систему оценки качества AI-агентов: оценка агентских траекторий и достижения целей, управление и создание (в том числе автоматическое\автоматизированное) тестовых сценариев, автоматизировать сбор и обработку обратной связи, помогать делать агентные системы надежнее.
Задачи:
- Разрабатывать систему оценки качества AI-агентов
- Создавать тестовые сценарии и методики проверки
- Разрабатывать метрики качества
- Автоматизировать тестирование агентных систем
- Анализировать результаты и улучшать процессы контроля качества
Стек технологий:
- Python, Docker, агентные среды для разработки (Opencode и др.)
Что важно:
- Опыт коммерческой разработки на Python от 3х лет
- Опыт работы с LLM или AI-агентами
- Понимание принципов оценки качества AI-систем
- Аналитический склад мышления
Будет плюсом:
- Опыт построения AI Evaluation / LLM Evaluation
- Знание CI/CD и автоматизации тестирования
Гибридный формат: 3 дня в офисе, остальные — удаленно.
Офис рядом с м. Тимирязевская (удобно добираться, есть парковка).
В офисе столовая, тренажерный зал.
Сделаем ДМС после испытательного срока.
Адрес: Москва, Дмитровское шоссе, 9
Похожие вакансии