Просмотр вакансии

Команда DWH отвечает за формирование основных аналитических витрин компании

Наша цель: предоставлять качественные и своевременные данные по логистическим процессам компании в удобном для аналитики виде. Все ключевые SLA-метрики (pay-to-delivery, first-scan-to-delivery, мониторинг провайдеров и маршрутов и тд) считаются единообразно и на данных DWH

Чем предстоит заниматься:

• Выявление потребностей бизнеса и формализация требований к витринам данных в логистическом домене (мониторинг посылок, SLA-метрики, анализ провайдеров, маршруты, стадии доставки);
• Миграция и рефакторинг логистических витрин в контур DWH;
• Исследование источников данных: интеграции логистических потоков, Kafka-инкременты, справочники обогащения;
• Проектирование и разработка витрин данных;
• Разработка и поддержка Data Quality проверок (Soda DQ);
• Оркестрация ETL-пайплайнов в Airflow: DAG'и, сенсоры, зависимости, backfill-стратегии;
• Участие в разборе инцидентов с данными, расследование расхождений и консультация потребителей витрин;
• Поддержание документации и базы знаний команды.

Стек: Hadoop (HDFS/YARN), PySpark, ClickHouse, Airflow

Мы ожидаем от Вас:

• Продвинутый уровень владения SQL и понимание принципов построения хранилищ данных (моделирование, слои, grain, SCD);
• Опыт работы с большими объёмами данных (миллионы+ строк на партицию) от 2 лет в роли DWH/аналитика данных;
• Понимание ETL/ELT-процессов и опыт проектирования пайплайнов обработки данных;
• Умение формализовать бизнес-требования и переводить их в технические спецификации витрин;
• Ответственность, самостоятельность, навыки коммуникации с бизнес-заказчиками и смежными командами.

Будет плюсом:

• Опыт работы с Spark и Hadoop-стеком (HDFS, YARN, Hive);
• Опыт оркестрации в Apache Airflow (DAG'и, операторы, сенсоры);
• Опыт с Soda DQ или другими фреймворками Data Quality;
• Понимание логистических процессов e-commerce (доставка, last-mile, cross-border).

Условия:

• Сильная команда, с которой можно расти;
• Петабайты данных и огромные мощности для их переваривания;
• Сложные, нетривиальные задачи для маркетплейса с миллионами пользователей;
• Возможность влиять на процесс и результат;
• ДМС со стоматологией и страхование от несчастных случаев (со 100% страхованием детей);
• Ноутбук MacBook Pro / Windows.