Просмотр вакансии

Нужен Data Engineer, который сможет взять на себя часть непрофильной для аналитиков работы по автоматизации отчётов, превращению моделей в сервисы, оптимизации запросов, а также сможет выстроить процесс код ревью, CI\CD Pipeline.

Наш стек: MPP (Vertica, ClickHouse), Python+ Airflow, Hive, PySpark.

Вам предстоит:

• Работать со слоями данных RAW, ODD, DDS: создавать их и развивать;
• Проектирование и разработка витрин данных для анализа и моделирования;
• Оптимизация процессов ETL, система мониторинга обновления витрин и источников данных;
• Изучение способов повышения качества и надёжности данных;
• Предоставление экспертной поддержки по оптимизации обработки данных на клиенте: Jupyter + Python;
• Поддержка и развитие базы знаний.

Мы ожидаем:

• Отлично знаешь SQL, знаком с Vertica, Clickhouse, владеешь концепцией DWH;
• Умеешь программировать на Python;
• Знаком с командной строкой Unix-систем;
• Есть опыт работы с BI-инструментами: в идеале Superset, но опыт с другими BI тоже подойдет, если ты готов осваивать новый инструмент;
• Работал с Airflow, Hadoop, Spark (Pyspark), Gitlab;
• Хорошо представляешь, как работает e-com;
• Способен взять ответственность свое направление и готов к самостоятельному решению задач с большой степенью неопределенности.