Инженер данных

Компания развивает ИТ-продукт, включающий в себя масштабную веб-платформу и интерактивного Telegram-бота / Mini App.

• Разрабатывать и поддерживать ETL/ELT-процессы на базе Airflow и dbt Core;
• Интегрировать новые источники данных: PostgreSQL, внешние API и сервисы;
• Развивать существующее хранилище данных на ClickHouse и поддерживать аналитические витрины;
• Оптимизировать SQL-запросы и производительность пайплайнов;
• Поддерживать и развивать инфраструктуру аналитической платформы;
• Взаимодействовать с аналитиками для реализации новых витрин, метрик и источников данных;
• Участвовать в расследовании инцидентов, связанных с качеством данных и работой пайплайнов;
• Поддерживать техническую документацию и участвовать в передаче знаний внутри команды.

• Опыт на позиции инженера данных от трёх лет;
• Уверенное знание SQL и опыт работы с аналитическими СУБД;
• Практический опыт работы с ClickHouse: проектирование таблиц, выбор движков, партиционирование, оптимизация запросов;
• Опыт разработки и поддержки ETL/ELT-процессов;
• Опыт работы с Apache Airflow 2+: разработка, поддержка и отладка DAG'ов;
• Опыт работы с dbt Core;
• Хорошее знание Python;
• Опыт работы с PostgreSQL и понимание особенностей инкрементальных выгрузок данных;
• Опыт интеграции внешних REST API;
• Понимание принципов контейнеризации и опыт работы с Docker / Docker Compose;
• Умение самостоятельно декомпозировать задачи и доводить их до результата;
• Будет плюсом опыт работы с Airflow 3+, BigQuery, Google Analytics / GA4, облачными платформами (GCP, Yandex Cloud, AWS), понимание базовых принципов работы блокчейн-сетей и транзакционных данных, опыт использования AI-инструментов для разработки и сопровождения кода.

• Условий в вакансии нет