Middle Data Engineer

Мы ищем Middle Data Engineer в нашу команду. В этой роли вы будете отвечать за инженерный фундамент: надежность пайплайнов, эффективное наполнение слоев DWH, мониторинг и оптимизацию вычислительных затрат. Стратегические приоритеты и архитектурный вектор задает Head of Data, а ваша задача — превращать их в надежные продакшен-решения.
Чем предстоит заниматься:

• Развитие пайплайнов: разработка и поддержка конвейеров Airflow; перенос обработки данных из pandas в вычисления в хранилище данных в Redshift.

• Оптимизация загрузки: перевод DWH с полного пересчета истории (full reload) на инкрементальную загрузку.

• Моделирование данных: разработка dbt-моделей (слои, автоматические тесты, документация).

• Качество и надежность: настройка мониторинга, алертинга и SLA по актуальности данных; регулярный контроль качества (полнота, соответствие источникам, корректность типов).

• Интеграции: подключение новых источников (ERP-системы, продуктовые события, платежные шлюзы).

• Производительность: оптимизация тяжелых SQL-запросов и контроль расходов на инфраструктуру DWH.

• Документирование: ведение актуальной документации по пайплайнам и моделям данных.

Требования к кандидату:

• Опыт: от 2 лет в Data Engineering или Data Analytics с сильной инженерной составляющей.

• SQL & DWH: уверенный SQL и практический опыт работы с аналитическими БД (Redshift, ClickHouse, BigQuery или Snowflake).

• Python: уровень Production (структурирование проектов, обработка ошибок, логирование).

• Orchestration: опыт работы с Apache Airflow (написание DAG, обработка зависимостей, обеспечение идемпотентности, backfill).

• dbt & Архитектура: понимание многоуровневой архитектуры хранилища данных (сырой · тестовый · витрины)

• Облака (AWS): опыт работы с S3, EC2, понимание IAM и логики формирования стоимости сервисов.

• Инструменты & Подходы: Git, Code Review, умение самостоятельно доводить задачи до продакшена.

• Английский язык: уровень A2(свободное чтение технической документации).

Будет плюсом:

• Опыт настройки CDC-репликации (Debezium, AWS DMS, логическая репликация PostgreSQL).

• Опыт работы с ClickHouse и обработкой событийно-ориентированных потоков данных (Event Streams).

• Понимание работы BI-инструментов (Metabase, Power BI) для корректной подготовки витрин.

• Бэкграунд в сферах FinTech, Trading или GameDev.