Просмотр вакансии

Проект Импортозамещение оперативного хранилища данных.

Цель проекта: импортозамещение ODS Oracle на стек Arenadata Hadoop, внедрение LakeHouse с раздельным storage и compute.

Сейчас продумано архитектурное решение, выбраны технологические компоненты, проведены пилоты, начаты работы по построению сервисного ядра ODS.

Предстоит: построить сервисное ядро поставки данных от систем-источников до ODS и передачи от ODS системам-потребителям, реализовать реконсиляцию, мониторинг, развернуть целевую промышленную инфраструктуру, протестировать и запустить решение.

Обязанности, задачи:

• Обеспечение надежности, доступности и производительности Hadoop кластера оперативного хранилища данных.
• Стек: Hadoop, Postgres, Spark, Airflow, Impala, Trino.

Требования к кандидату:

• Необходим опыт администрирование следующих систем:

- Linux подобных ОС
- Экосистемы Hadoop (HDFS, YARN, Hive, Spark)
- Postgres
- Trino
- Airflow

• Понимание работы Git и CI/CD;
• Знание одного из языков программирования (Java, Python) на уровне чтения кода;
• Уметь настроить мониторинг, алертинг с помощью Prometheus, Grafana или с помощью их аналогов;
• Понимание систем аутентификации и авторизации и знание инструментов Kerberos и Ranger.

Условия:

• Амбициозные, интересные задачи с возможностью проявить себя, возможность профессионального развития и карьерного роста;
• Работа в сплочённом коллективе единомышленников;
• Гибкий график рабочего дня, возможность смешанного режима работы (гибрид/удаленно);
• Оформление согласно ТК РФ;
• Полис ДМС (со стоматологией) после испытательного срока;
• Наши офисы: Теплый Стан ул.Профсоюзная 125А , Пресненская Набережная 10с2.