Data engineer migratie (datalab)

Bij het Datalab van het Ministerie van VWS in Den Haag word jij de technische ruggengraat van het team voor de complexere datavraagstukken. Het Datalab is de omgeving waarin de directies van VWS hun data-initiatieven onderbrengen, gebouwd op Microsoft Azure met Databricks als centrale component. Je houdt de bestaande omgeving draaiend én je bouwt mee aan wat eraan komt: de migratie naar een vernieuwd platform en het via API's ontsluiten van bronsystemen. Jouw pipelines en semantische modellen zorgen ervoor dat data van bron tot productielaag klopt en dat er stabiele Power BI-rapportages op gebouwd kunnen worden.

Je werkt met Python en PySpark aan ETL/ELT-processen die data van bron tot productielaag in het data lake brengen. Daarnaast ontwerp en onderhoud je de centrale semantische modellen, zodat datastructuren en definities op elkaar aansluiten. Het Azure dataplatform onderhoud je samen met de beheerpartij van de cloudomgeving; jij bent daarvoor het aanspreekpunt.

Binnen het team ben jij degene bij wie collega's aankloppen voor de moeilijkste datatransformaties en schema-updates. Je denkt mee over de aanpak van de doorontwikkeling en nieuwe initiatieven, en je verkent actief hoe AI de werklast van de operationele teams kan verlagen. Kortom: je combineert stevig technisch werk met invloed op de richting van het platform.

Dit ga je doen

• Je ontwerpt en implementeert ETL/ELT-processen die data van bron tot productielaag in het data lake brengen met Python en PySpark.
• Je ontwerpt en onderhoudt de centrale semantische modellen, zodat datastructuren en definities aansluiten en stabiele Power BI-rapportages mogelijk zijn.
• Je onderhoudt het Azure dataplatform samen met de beheerpartij van de cloudomgeving en bent daarvoor het aanspreekpunt.
• Je houdt de bestaande Datalab-omgeving stabiel en operationeel.
• Je draagt bij aan de migratie naar een vernieuwd platform.
• Je ontsluit bronsystemen via API's.
• Je bent binnen het team het aanspreekpunt voor de moeilijkste datatransformaties en schema-updates.
• Je denkt mee over de aanpak van de doorontwikkeling en nieuwe initiatieven.
• Je verkent actief hoe AI de werklast bij de operationele teams kan verlagen.

Dit breng je mee

• Je bent een ervaren data engineer op Microsoft Azure die zich thuis voelt in Databricks, Python en PySpark.
• Je vindt het leuk om de lastigste datatransformaties en schema-updates naar je toe te trekken en collega's daarin verder te helpen.
• Je kijkt verder dan je eigen pipeline: je denkt mee over doorontwikkeling, migratie en nieuwe initiatieven.
• Je bent nieuwsgierig naar wat AI kan betekenen voor het verlagen van operationele werklast en gaat daar actief mee aan de slag.
• Je schakelt makkelijk met een externe beheerpartij en bent een helder aanspreekpunt voor het platform.

Eisen

• Kandidaat beschikt over minimaal HBO werk- en denkniveau (kan worden aangetoond dmv een afgeronde HBO opleiding en/of aantoonbare werkervaring van minimaal 3 jaar op HBO niveau)
• Kandidaat beschikt over minimaal 3 jaar aantoonbare werkervaring als data engineer op Microsoft Azure
• Kandidaat beschikt over aantoonbare kennis van en ervaring met Databricks, Python en PySpark
• Kandidaat beschikt over aantoonbaar minimaal 3 jaar kennis van en ervaring met datamodellering, ETL-processen en het bouwen van pipelines

… lees de volledige omschrijving bij Zyfer.