Tech Lead @ apreel Sp. z o.o

Job title:

Tech Lead @ apreel Sp. z o.o

Company:

apreel

Job description

Wymagane kompetencje:

• Modelowanie struktur bazodanowych w podejściu DDD (DataDomainDriven Designing), wypracowywanie fizycznych modeli danych, Data Modelling na podstawie wsadu z Data Governance (tj. na podstawie glosariusza danych oraz modelu konceptualnego/ ew. logicznego)
• Data Mapping
• kompetencje zarówno w Azure i GCP
• Przygotowywanie warstwy Data Contracts (wymagań HD do systemów źródłowych pod merytoryczną płaszczyznę kontraktu na dane) na podstawie zamodelowanych uprzednio struktur dla poszczególnych domen danych
• [Potrzebne będzie więc doświadczenie we współpracy z systemami źródłowymi przy redagowaniu wymagań i tworzeniu data kontraktów na bazie fizycznych modeli domenowych w DWH.]
• Współpraca przy procesie Ingestu danych z systemów źródłowych w scenariuszach: (1) bezpośredni querying baz danych (tj.odpytywanie tzw. bulk read modelu/CDC), (2) poprzez komunikację z API lub (3) Event Streaming
• Implementacja modeli danych dla poszczególnych domen w Data Platform (warstwa Bronze, Silver i Gold) w podejściu ELT

Mile widziane:

• Umiejętność redagowania przejrzystych dokumentów technicznych – np. specyfikacji technicznej kontraktu, definicji pól, warunków ekstrakcji itp.
• Doświadczenie w tworzeniu dokumentacji pod mapowania danych źródłowych do docelowych struktur w DWH
• Umiejętność interpretacji fizycznego/logicznego modelu danych (ERD, modele relacyjne)
• Wiedza na temat zagadnień Data Quality, Data Lineage i zasad zarządzania danymi
• Umiejętność korzystania z narzędzi do zarządzania metadanymi (np. Azure Purview, etc.)

Projekt: Data platform – HD w Cloud (ELT w oparciu o silnik procesowania danych na Azure Databricks lub BigQuery na GCP oraz natywne usługi dla Ingestu, Transformacji i Orkiestracji danych) data modellingu (modelowanie struktur DB). Budujemy zespół, którego zadaniem będzie zbudowanie takiej platformy, a potem poszczególnych procesów. Wybór chmury jeszcze trwa.UWAGI:DWH w podejściu ELT z architekturą medalionową (warstwy Bronze, Silver i Gold) – tzw. Lakehouse. Niestety na obecnym etapie nie wiemy jeszcze, czy będziemy osadzać Data Platform w chmurze Azure czy GCP. Tym samym stawiamy na interdyscyplinarność (kompetencje zarówno w Azure i GCP), a potencjalnie rozważane komponenty to:Azure:

• Storage: ADLS
• Ingest: ADF i Databricks
• Transformacje: Datatbricks/dbt
• Orkiestracja: ADF/Airflow
• DataGov i DataQuality: UnityCatalog/Purview

GCP:

• Storage: CloudObjectStorage
• Ingest: Pub/Sub i Dataflow
• Transformacje: BigQuery/dbt
• Orkiestracja: Composer/Airflow
• DataGov i DataQuality: Dataplex

Oferta:

• Lokalizacja: Wrocław/ praca 100% zdalna
• Start: asap
• Współpraca: projekt szacowany co najmniej do lipca 2026
• Zatrudnienie: przez apreel na zasadach B2B
• Stawka: 170-195 PLN netto/h +VAT

,[] Requirements: Cloud, Azure Databricks, BigQuery, GCP, Data modelling, R, DDD, Data mapping, Azure, C, API, DWH, DWH, ADLS, ADF, Databricks, dbt, Airflow, PUB Tools: Jira, Confluence, GitLab, GIT, Jenkins, Agile, Scrum. Additionally: Remote work.

Expected salary

Location

Wrocław, dolnośląskie

Job date

Tue, 29 Apr 2025 22:11:16 GMT

To help us track our recruitment effort, please indicate in your email/cover letter where (vacanciesin.eu) you saw this job posting.