Просмотр вакансии

Описание проекта : Наша команда реализует продукт кредитования юридических лиц сегмента малого и микробизнеса. Мы закончили процесс миграции на новые системы и сейчас начинаем активно развивать продукт и делать его лучше для клиентов. Впереди много интересных задач и идей, которые сделают нас лучше.

Опыт работы: от 1го + года

Нужен человек, умеющий в SQL, Spark, Python, Scala (опционально), в аналитику данных, исследование источников данных, навыки общения со стейкхолдерами

- у нас упор на разработку/доработку витрин данных, анализ источников, реализация расчетов в рамках бизнес-процессов. То есть берем готовые источники и решаем бизнес-задачи – наши витрины содержат готовые наборы полезных данных

- мы не проектируем DWH, не работаем со слоями DWH, не пишем пайплайны загрузки данных, DAGи в Airflow и не делаем прочую техническую работу по сбору и поставке данных в хранилища

Основные требования:

• Знание SQL на уровне аналитических запросов (подзапросы, агрегация, оконные функции);
• Умение обращаться с git, bash.
• Знания языков программирования Java/Scala, Python;
• Понимание работы Hadoop, принципов распределенной обработки данных
• Опыт разработки на Spark/PySpark (критичное требование);
• Оптимизация выполнения сценариев на Spark;
• Понимание процессов ETL, ELT

Стек:

• Hadoop, Apache Spark, SQL, Python/Scala/Java

Дополнительные (желательные) требования:

• Опыт разработки на Spark/PySpark;
• Оптимизация выполнения сценариев на Spark;
• Опыт использования Apache Oozie;
• Понимание процессов ETL, ELT

Должностные обязанности:

• Исследование источников данных (внешних данных, реплик АС Банка, других витрин);
• Проведение EDA
• Разработка, тестирование витрин данных исходя из требований стейкхолдеров на Spark (Scala, Java, Python)
• Поддержка существующих витрин данных
• Разработка, сопровождение, развертывание в прод-контуре сервисов передачи данных
• Code Review изменений, предлагаемых коллегами.

Условия:

• Возможность профессионального и карьерного роста в компании
• Возможность поучаствовать в разных проектах
• Опыт работы в распределенной команде профессионалов
• Уровень заработной платы обсуждается индивидуально
• Оформление в соответствии с ТК РФ в Bell Integrator
• Формат работы ОФИС: МСК/ Кутузовский проспект 32к1