проектирование, разработка и поддержка ETL/ELT-пайплайнов с использованием Apache Airflow;

настройка агрегаций данных для аналитических и ML-задач;

интеграция и оптимизация процессов работы с базами данных Clickhouse и PostgreSQL;

обеспечение консистентности, целостности и качества данных на всех этапах обработки (валидация, очистка, мониторинг аномалий);

разработка и поддержка инфраструктуры данных для обеспечения надежности и масштабируемости;

участие в подготовке данных для анализа и обучения моделей совместно с аналитиками и ML/DS-командами;

настройка мониторинга и системы оповещения для пайплайнов данных;

разработка, изменение и сопровождение витрин данных;

оптимизация запросов и процессов обработки данных для повышения производительности.

опыт работы в роли data engineer от 2 лет;

понимание процессов ETL/ELT и опыт их реализации;

умение писать сложные SQL-запросы и оптимизировать их;

глубокие знания и опыт работы с Apache Airflow;

опыт работы с колоночными и реляционными базами данных;

знание Python и опыт написания на нем скриптов для обработки данных;

навыки работы с системами контроля версий (Git).

знания технологий оркестровки и поставки данных (например, Kafka, ActiveMQ);

опыт работы с не реляционными базами данных;

знание инструментов для работы с большими данными (Spark, Hadoop);

опыт поддержки ML/DS-команд и понимание их потребностей в данных;

знание контейнеризации (Docker, Kubernetes).

Поддержка ML/DS-команд

ETL

ELT

Apache Airflow

SQL

PostgreSQL

Clickhouse

Spark

Hadoop

Kafka

ActiveMQ

RabbitMQ

Docker

Docker-compose