Azure Data Engineer
🚀 Zakres obowiązków:
Projektowanie i rozwój pipeline’ów danych oraz rozwiązań przetwarzania danych w oparciu o Azure Databricks i Python
Budowa i utrzymanie rozwiązań na platformie Azure Data (Data Lake, Data Factory, Synapse)
Tworzenie i rozwój Data Products oraz zarządzanie nimi (Unity Catalog)
Współpraca z biznesem — zbieranie wymagań i przekładanie ich na rozwiązania techniczne
Dbanie o jakość danych, bezpieczeństwo oraz zgodność z wymaganiami
Integracja rozwiązań danych z innymi systemami w organizacji
Usprawnianie wydajności, skalowalności i kosztów rozwiązań
🛠️ Wymagania:
-
Bardzo dobra znajomość:
Azure Databricks
Python
Apache Spark
-
Doświadczenie z usługami Azure:
Data Lake (ADLS Gen2)
Data Factory / Synapse
Znajomość API (REST lub podobne)
Doświadczenie w projektowaniu ETL oraz modelowaniu danych
Podstawowa znajomość architektury danych
Doświadczenie z CI/CD i Git
Umiejętność rozwiązywania problemów i pracy w metodykach Agile
Dobre umiejętności komunikacyjne (współpraca z biznesem i zespołami technicznymi)
➕ Mile widziane:
Doświadczenie z przetwarzaniem dużych zbiorów danych (big data, streaming)
Znajomość Unity Catalog oraz zasad data governance
Doświadczenie z narzędziami wizualizacji danych (np. Power BI)
Znajomość Databricks Asset Bundles