Просмотр вакансии

- Развёртывание и сопровождение платформы на стендах и у заказчиков: Linux, Docker/Compose, GitLab CI/CD, SSH-деплой.

- Проектирование и эксплуатация production ETL/ingestion-пайплайнов на Apache NiFi: flow design, backpressure, гарантии доставки, ретраи, версионирование flows (NiFi Registry).

- Настройка и доработка коннекторов/адаптеров к внешним источникам: ODBC, REST/SOAP, файлы, 1С, ClickHouse.

- Администрирование и оптимизация PostgreSQL: сложные запросы, планы, индексы, кэширование.

- Диагностика стендов по SSH, разбор инцидентов в Docker-окружении.

Требования:

- Python 3.8+: асинхронность, различие asyncio и gevent; конкурентность threads/processes, GIL, I/O-bound vs CPU-bound; типизация (typing/mypy); поддерживаемый, читаемый, тестируемый код.

- Архитектура: Clean Architecture / Hexagonal (Ports & Adapters); проектирование границ, контрактов и зависимостей между слоями.

- Инженерные принципы: SOLID, KISS, YAGNI, DRY, Separation of Concerns, High Cohesion / Low Coupling, Fail Fast, Idempotency by design, Design for testability.

- Linux + Docker/Compose: самостоятельная диагностика — сеть контейнеров, проброс портов, healthcheck'и, чтение логов, переменные окружения.

- GitLab CI/CD и SSH-деплой: пайплайн build -> deploy, умение разобраться, почему упала джоба.

- Django: ORM, middleware, management-команды; готовность к большому legacy-монолиту (аккуратно менять чужой код важнее, чем писать с нуля).

- PostgreSQL: сложные запросы, оптимизация, индексы/планы; версионность данных, временные срезы, SCD2 / time-travel.

- Apache NiFi (production-опыт): flow design, processors, scheduling, backpressure/очереди, гарантии доставки, ретраи, версионирование flows (NiFi Registry).

- DevOps: Docker/Compose, GitLab CI/CD, SSH-деплой; Nginx/Apache + Gunicorn/uWSGI.

Будет плюсом:

Apache Spark (PySpark / Spark SQL), Airflow или Dagster, поставки в закрытые контуры (Astra/Alt Linux), практика документации (ADR, drawio), Kerberos/Keycloak, ClickHouse, мониторинг (Prometheus/Grafana/Loki).

О работе честно:

Это внедрение и доработка реального enterprise-продукта — NiFi-пайплайны, закрытые контуры без интернета, нативные зависимости, привязанные к ОС. Ищем инженера, которому интересно разбираться, почему сломалось, и проектировать так, чтобы ломалось предсказуемо.

Ключевые навыки:

Python · Apache NiFi · Django · PostgreSQL · Linux · Docker · GitLab CI/CD · Nginx/Apache · ETL/ELT · Celery