Город: Астана
Занятость: Полная занятость, Полный день
Опыт работы: Нет опыта
- Разрабатывать и актуализировать тест-план, тест-кейсы, чек-листы и матрицу качества для LLM/чат-бот/голосового бота.
- Проводить функциональное, сценарное, негативное и устойчивое тестирование, включая регрессию при изменениях промптов/БЗ/модели.
- Оценивать качество ответов по метрикам и классам (correct/partial/error/опасный/нарушение политики), формировать golden set тестовых запросов.
- Анализировать логи/трассировки/дашборды, фиксировать дефекты, контролировать исправления и выявлять причины деградаций качества.
- Готовить заключения go/no-go о готовности к UAT/пилоту/масштабированию/прому с учетом требований ИБ/ПДн.
-
Высшее образование: техническое / ИТ / математическое / прикладная статистика / инженерное либо иное профильное.
Базовое понимание: тестирование ПО, основы анализа данных, логика бизнес-процессов. -
Опыт работы в тестировании ИТ- или ИИ-решений от 1 года (QA, аналитик тестирования, тест-инженер, контроль качества сервисов).
Практический опыт:
• разработки тест-кейсов/чек-листов/матриц качества,
• проведения функционального и сценарного тестирования,
• фиксации дефектов, ведения баг-репортов, контроля исправлений.
Опыт анализа поведения системы по логам/трассировкам/дашбордам (поиск причин нестабильности, деградаций качества, аномалий).
Опыт подготовки отчетов/заключений по готовности решения к пилоту/масштабированию/промышленной эксплуатации. -
Дополнительно:
тестирование LLM/NLP и диалоговых систем (функциональное/сценарное/негативное/устойчивостное), метрики и классификация качества ответов, разработка тест-артефактов (test plan/cases/checklists, golden set), LLMOps (версии, мониторинг, дрейф, трассируемость), анализ логов/дашбордов и дефект-менеджмент, критерии приемки и go/no-go, основы ИБ/ПДн/банковской тайны, грамотная коммуникация и отчетность. - Умение работать с офисными инструментами Microsoft Office (Word/Excel/PowerPoint) и корпоративными системами учета задач (Jira/аналог
- Достойная оплата труда
- Участие в проектах Банка
- Премирование (от выполнения KPI)
- Возможность профессионального развития
- Обучение за счет работодателя
- Медицинское страхование (узкие специалисты, лечение у стоматолога, получение медикаментов, УЗИ и т.д.)
- Материальная помощь (заключение брака, рождение ребенка и т.д.)
- Отпуск 30 календарных дней
- Лечебное пособие на оздоровление
- Скидка на абонемент в популярный спортивный зал города
- Участие в корпоративной жизни Банка
- Участие в спортивных мероприятиях Банка (шахматы, теннис, футбол и т.д.)
- Карьерный рост
- Дружная команда
Похожие вакансии