Просмотр вакансии

Сейчас мы расширяем команду Trust and Safety и ищем дата-аналитика (data analyst) в стрим AI Safety, который поможет развивать безопасное и качественное использование LLM и AI-ассистентов в компании. В этой роли фокус будет на данных и продуктовой аналитике: анализе пользовательских сценариев, качества ответов LLM, эффективности фильтров и guardrails, поиске проблемных паттернов, проверке гипотез и построении метрик для AI Safety-направления.

Вам предстоит:

• Анализировать запросы и ответы LLM/AI-ассистентов: пользовательские сценарии, ошибки, спорные кейсы, частотные паттерны;

• строить и развивать метрики качества и безопасности AI-сервисов;

• исследовать эффективность guardrails, фильтров, классификаторов и других механизмов проверки запросов/ответов;

• формулировать гипотезы по улучшению пользовательского опыта и безопасности AI-сценариев;

• готовить дашборды, отчеты и аналитические выводы для продуктовых, ML/DS, ИБ и инженерных команд;

• участвовать в оценке качества внутренних AI-ассистентов и AI-агентов для задач ИБ;

• помогать команде принимать решения: какие проверки дорабатывать, какие сценарии автоматизировать, где нужен ручной review или дополнительная разметка.

Вы нам подходите, если:

• У вас есть опыт работы аналитиком от 2х лет;

• вы уверенно владеете SQL и Python для анализа данных;

• вы умеете проводить исследования, проверять гипотезы и превращать данные в понятные выводы;

• у вас есть опыт работы с неидеальными данными: логами, текстовыми событиями, ручной разметкой, спорными кейсами.