Просмотр вакансии

• Обеспечение интеграционного взаимодействия между всеми компонентами системы «ИНКА» (бэкенд, фронтенд, внешние сервисы) с использованием платформы «ИНКА:Интеграция» (на базе Apache NiFi) в качестве ESB-шины.
• Настройка, разработка и сопровождение потоков данных (data flows) в «ИНКА:Интеграция»: прием данных из Apache Kafka, трансформация, обогащение, маршрутизация и доставка в целевые системы (БД, S3, REST API, другие очереди).
• Обеспечение надежной и отказоустойчивой доставки сообщений, мониторинг и логирование потоков, настройка обработки ошибок и повторных попыток.
• Взаимодействие с командой бэкенда (C#) и фронтенда (Angular) для согласования форматов данных, схем (Avro/JSON/XML) и SLA по доставке.
• Оптимизация производительности интеграционных потоков, настройка параллелизма, буферизации, работы с памятью.
• Разработка пользовательских процессоров (custom processors) на Java или Python при необходимости.
• Участие в код-ревью конфигураций и скриптов, поддержка документации по интеграционным сценариям.
• Сопровождение и исправление существующих интеграционных потоков, разработанных как силами команды, так и сторонними подрядчиками.

• Основные технологии:

  - Платформа «ИНКА:Интеграция» (Apache NiFi): создание и управление процессами, работа с процессорами, контроллеры сервисов, шаблоны, переменные, управление версиями, мониторинг через UI и API.

  - Apache Kafka: Producers/Consumers, управление группами, партиционирование, работа со смещениями, настройка дедлайнов, использование Kafka Connect (желательно).

  - Форматы данных: JSON, XML, Avro, Parquet, CSV; работа со схемами (Schema Registry).

  - Протоколы: REST, SOAP, gRPC (желательно).

  Backend & Базы данных:

  - PostgreSQL: сложные SQL-запросы, операции вставки/обновления, работа с транзакциями, оптимизация.

  - S3 (объектное хранилище): чтение/запись, управление большими данными.

  - Redis (кэширование) – желательно.

  Языки и инструменты:

  - Java (основной для разработки процессоров в NiFi) и Python (для скриптового процессора ExecuteScript).

  - SQL (обязательно).

  - GitLab (CI/CD для развертывания потоков, управление конфигурациями).

  - Docker, Kubernetes (для развертывания NiFi и Kafka в контейнерах).

  Дополнительные навыки:

  - Архитектура: микросервисная и монолитная, понимание паттернов интеграции (каналы, маршрутизаторы, трансформаторы).

  - Опыт работы с брокерами сообщений: Kafka (обязательно), RabbitMQ (желательно).

  - Мониторинг и логирование: ELK/EFK, Prometheus/Grafana (желательно).

  Опыт работы:

  - Разработка и сопровождение ETL/ESB-решений на основе Apache NiFi и аналогичных .

  - Настройка высоконагруженных потоков обработки данных через Kafka.

  - Оптимизация производительности интеграционных сценариев, устранение узких мест.

  - Интеграция с внешними REST API, базами данных, файловыми хранилищами.

Личные качества:

- Умение объяснять сложное просто: способность доносить технические нюансы (например, ошибки AI-моделей или сбои интеграции) .

- Активное слушание: понимание сути проблемы пользователя, даже если он описывает её нечетко.

- Системный подход: умение выявлять корневые причины сбоев, связывая фронтенд-ошибки, бэкенд-логи и данные AI-моделей.

- Креативность: поиск нестандартных решений при ограниченных ресурсах (например, временные обходные пути для критичных сбоев).

- Критическое мышление: оценка достоверности данных и их влияния на производственные процессы.

- Стрессоустойчивость: сохранение спокойствия при авариях на производстве или срочных запросах.

- Коллаборация: координация с разработчиками, инженерами и производственными отделами.

- Конструктивная обратная связь: предложение улучшений для UI/UX или логики на основе обращений пользователей.

- Гибкость: готовность подстраиваться под изменения в процессах (например, внедрение новых модулей).

• Офис / удаленно (2-3 дня в неделю - обсуждается с успешным кандидатом).
• Доход до 350 000 руб. на руки в месяц.