Data engineer migratie (warme stoel)

Opdrachtomschrijving

Het Datalab van het Ministerie van Volksgezondheid, Welzijn en Sport (VWS) biedt de directies van VWS een omgeving om hun data-initiatieven onder te brengen. Het platform is gebouwd op Microsoft Azure, met Databricks als centrale component. Vanuit Den Haag werk je aan het onderhoud van de bestaande omgeving en aan de verdere ontwikkeling van het dataplatform.

Een belangrijke aanleiding voor de opdracht is de migratie naar een vernieuwd platform. Daarnaast wordt gewerkt aan het via API ontsluiten van bronsystemen. Als data engineer ontwerp en implementeer je ETL- en ELT-processen waarmee data van bron tot productielaag in het data lake wordt gebracht. Hiervoor werk je met Python en PySpark.

Je ontwerpt en onderhoudt ook de centrale semantische modellen. Daarmee zorg je dat datastructuren en definities op elkaar aansluiten en dat stabiele Power BI-rapportages kunnen worden gebouwd. Samen met de beheerpartij van de cloudomgeving onderhoud je het Azure-dataplatform en ben je hiervoor het aanspreekpunt. Ook draag je bij aan de doorontwikkeling van het platform, nieuwe initiatieven en het verkennen van de mogelijkheden van AI om de werklast van operationele teams te verlagen.

Gevraagd profiel

VWS zoekt een ervaren data engineer die binnen het Datalab de technische ruggengraat vormt voor complexe datavraagstukken. Je hebt ervaring met het ontwerpen en realiseren van dataprocessen, semantische modellen en dataplatformen. Je bent inhoudelijk sterk in complexe datatransformaties en schema-updates en kunt hierover als aanspreekpunt binnen het team optreden.

Je werkt zelfstandig en denkt actief mee over de aanpak van doorontwikkeling en nieuwe initiatieven. Daarbij verbind je technische uitvoering met de behoeften van de organisatie en onderhoud je de samenwerking met de beheerpartij van de cloudomgeving.

Eisen

• Kandidaat beschikt over minimaal HBO werk- en denkniveau (kan worden aangetoond dmv een afgeronde HBO opleiding en/of aantoonbare werkervaring van minimaal 3 jaar op HBO niveau)
• Kandidaat beschikt over minimaal 3 jaar aantoonbare werkervaring als data engineer op Microsoft Azure
• Kandidaat beschikt over aantoonbare kennis van en ervaring met Databricks, Python en PySpark
• Kandidaat beschikt over aantoonbaar minimaal 3 jaar kennis van en ervaring met datamodellering, ETL-processen en het bouwen van pipelines
• Kandidaat is minimaal 32 uur per week beschikbaar voor de duur van de opdracht

Wensen

• Mate waarin de kandidaat ervaring heeft met het werken in agile teams
• Mate waarin de kandidaat kennis heeft van het Azure dataplatform (Databricks, Delta Lake, Unity Catalog, Azure Data Factory, ADLS) en ervaring heeft met platformmigraties
• Mate waarin de kandidaat kennis heeft van datamodellering en semantische modellen, het opzetten van ETL/ELT-processen en het bouwen van pipelines met Python en PySpark, inclusief API-integraties
• Mate waarin de kandidaat beschikt over relevante certificeringen vanuit de DP reeks en aantoonbare ervaring met CI/CD, versiebeheer en infrastructure as code (Azure DevOps, Terraform)
• Mate waarin kandidaat beschikt over de gevraagde competenties en vaardigheden (toetsbaar in CV, motivatie en/of mogelijk gesprek)