Просмотр вакансии

• написание системных и пользовательских промптов для сложных задач;
• тестирование промптов, сравнение версий, работа с критериями качества;
• ручная проверка результатов модели, поиск галлюцинаций, ошибок классификации и ложноположительных результатов;
• проектирование стабильных структурированных выводов в виде json-схем;
• улучшение промптов на основе ошибок модели и качества выходных данных;
• работа с неструктурированным текстом — анализ постов, комментариев, длинных тредов, шума, сарказма и неполного контекста.

Требования:

• опыт работы от 2 лет с LLM / AI-инструментами или AI-продуктами;
• опыт составления и тестирования сложных промптов;
• понимание того, как проверять качество ответов модели через тестовые примеры, критерии оценки и разбор ошибок;
• умение отличать хороший LLM-ответ от просто красиво написанного;
• английский на уровне, достаточном для анализа Reddit-постов и комментариев.
• аккуратность, внимательность к деталям и готовность руками разбирать спорные кейсы.

Будет Вашим плюсом:

• Опыт в AI QA, data annotation, search quality или product analytics.
• Базовое понимание Python / SQL.
• Опыт работы с LLM API.
• Опыт с judge-prompts, self-critique, multi-agent debate или похожими подходами.
• Опыт в стартапах, market research или продуктовой аналитике

Условия:

• удаленная работа в распределенной команде;
• частичная регулярная занятость в рамках разовых задач;
• задачи регулярные, работа будет всегда;
• сдельная оплата труда - за выполненную работу.