Просмотр вакансии

Мы — исследовательская команда, работающая на переднем краю LLM-технологий. Мейнстрим LLM-рецепт — это потолок, который мы пытаемся пробить: ищем архитектурные ходы, новые objective-функции, нестандартные режимы reasoning'а — всё, что может дать кратный прирост качества/скорости.

Жизненный цикл идеи: от гипотезы до PoC-фреймворка и прода флагманской LLM.

Если коротко: мы ищем людей, которым интересна прикладная исследовательская работа в среднем и высоком risk-reward профиле.

Над чем сейчас работаем (краткий примерный список):

* альтернативные архитектуры — encoder-decoder, гибридные attention (linear + softmax), sparse/MoE с нестандартным dispatching'ом, итеративные/loop-трансформеры;

* новые training objectives и режимы обучения — multi-token и future-state prediction, RL-pretraining, дистилляция против ансамблей teacher-моделей;

* reasoning — латентный/омнимодальный reasoning, обучаемые value-сети, MCTS-подобный поиск, self-play, ансамбли гетерогенных моделей;

* эффективность и inference — адаптивные вычисления, MoD/early-exit, serving для нестандартных архитектур;

* специализированные направления — символьные/фонетические задачи, креативная генерация, agentic capabilities.

Какие-то из гипотез этих треков доедут до PoC/прода, какие-то умрут на small-scale. Это ожидаемо.

One More Thing:

Если вы рок-звезда (уровень техлида и выше) — у нас отдельный трек найма. Предлагаем compute без бюрократии, можем обсудить запуск нового research-трека под вас, потенциально своя команда и инженерная поддержка под скейлинг, прямое участие в стратегии направления — что мы делаем, во что не верим, на чём фокусируемся на длинном горизонте.

Мы делаем ставку на архитектурные и training-инновации, где количество GPU перестаёт быть единственным фактором. Если такая постановка задачи будоражит кровь — пишите.

Обязанности

* разбирать существующие LLM-пайплайны до компонент, находить места для апгрейда не на 1%, а в разы;

* формулировать research-гипотезы и доводить их от абляций до полного pretrain/post-train цикла со scaling laws;

* обучать, валидировать, имплементировать новые архитектуры и objectives — иногда с залезанием в инфраструктуру (kernel'ы, training-фреймворк, serving);

* упаковывать результаты, доводить до PoC, инференс-движка, пилотных проектов;

* публиковаться на A/A*-конференциях — опционально, но мы поощряем.

Требования

* глубокое понимание современного трансформера и этапов LLM-пайплайна;

* умение писать качественный и воспроизводимый ML-код, опыт запуска/обучения моделей в multi-gpu (лучше в multi-node) режиме;

* практический опыт на каком-то из этапов LLM-строения — индустриальный или серьёзный pet-project, формат не принципиален;

* хорошая насмотренность по литературе и способность читать paper'ы критически, отличать зёрна от плевел;

* умение быстро валидировать смелые гипотезы;

Будет плюсом:

* опыт в классическом ML/NLP до эпохи больших моделей;

* публикации уровня A/A* и опыт прохождения review-цикла;

* опыт large-scale training (multi-node, FSDP/DeepSpeed/Megatron);

* призовые места в Kaggle и подобных.

Условия

• комфортный современный офис рядом с м. Кутузовская
• гибридный формат работы
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• система обучения для профессионального и карьерного развития
• расширенный полис ДМС с первого дня работы и страхование для семьи
• программа ипотеки для сотрудников
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.