Senior Data Engineer

Samenvatting

Het ministerie van Sociale Zaken en Werkgelegenheid (SZW) zoekt een Senior Data Engineer voor het Data & AI Competence Center (DACC) binnen de directie CIV.

De opdracht richt zich op het centraal ontsluiten, verrijken en beschikbaar stellen van publieke databronnen (zoals open.overheid.nl en Tweede Kamer-data) op het Cloud Data Platform (Azure, met Databricks).

Je bouwt robuuste, herhaalbare data-ingestie- en transformatiepipelines, zorgt voor schoonmaken, verrijken, modelleren en beschikbaarstelling voor dashboards, analyses en AI-toepassingen.

Belangrijke aandachtspunten zijn foutafhandeling, logging, monitoring, herstelbaarheid, metadata, kwaliteit en beheer, zodat oplossingen onderhoudbaar en schaalbaar zijn voor meerdere afnemers binnen SZW/NLA.

De rol is hands-on en teamgericht: je realiseert technische oplossingen, neemt deel aan afstemming met stakeholders en draagt kennis over binnen het team; locatie Den Haag.

Vereist profiel

• Aantoonbare ervaring als Senior Data Engineer met meerdere jaren praktijkwerk in productieomgevingen (bij voorkeur ≥5 jaar).
• Diepgaande kennis van Azure-data services en Databricks; ervaring met het opzetten van data-pipelines, Delta Lake en schaalbare transformaties.
• Sterke programmeervaardigheden in Python en/of Scala en zeer goede SQL-vaardigheden voor datatransformaties en modellering.
• Ervaring met API-integraties en het ontsluiten van open/publieke databronnen, inclusief verwerking van verschillende formaten en throttling/quotabeheer.
• Kennis van logging, monitoring, foutafhandeling en herstelmechanismen; ervaring met CI/CD voor data-pipelines is een pre.
• Inzicht in metadata, datamodellering, data governance, privacy en informatiebeveiliging en het toepassen daarvan in herbruikbare oplossingen.
• Sterke communicatieve vaardigheden en ervaring met stakeholdermanagement; je kunt technische keuzes motiveren en kennis overdragen aan collega’s.
• Proactieve, hands-on werkhouding, gericht op robuuste, onderhoudbare en herbruikbare oplossingen en het werken in een collegiale, informele omgeving.

Eisen

• Minimaal 5 jaar ervaring als Data Engineer of in een vergelijkbare rol.
• Aantoonbare ervaring met het ontwerpen en bouwen van data-pipelines en data-integraties in een cloudomgeving, bij voorkeur Microsoft Azure.
• Ervaring met Databricks, Spark, Python en SQL.
• Ervaring met het ontsluiten en verwerken van data uit externe bronnen, zoals REST API’s, open datasets en bestanden in verschillende formaten.
• Ervaring met het opschonen, transformeren en modelleren van data voor hergebruik door verschillende afnemers.
• Ervaring met het inrichten van robuuste, onderhoudbare en herhaalbare oplossingen, inclusief monitoring, foutafhandeling en documentatie.
• Kennis van data-architectuur, datamodellering en datakwaliteit.
• Ervaring met werken in een Agile/sprintteam.
• Kandidaat beschikt over WO werk- en denkniveau.
• Kandidaat heeft minimaal 5 jaar werkervaring als Data Engineer of in een vergelijkbare rol.
• Kandidaat beschikt over kennis van data-engineering in Microsoft Azure, waaronder het ontwerpen en/of bouwen en/of beheren van dataoplossingen en/of het werken met gangbare programmeer- en querytalen.
• Kandidaat heeft ervaring met het ontsluiten en/of combineren en/of verwerken van data uit externe bronnen binnen een Azure-omgeving ( zoals via API’s, databestanden en andere gegevensbronnen in verschillende formaten)

Wensen

• Ervaring met Azure Data Platform-componenten naast Databricks, zoals Azure Storage, en Data Factory.
• Ervaring met Delta Lake, medallion-architectuur of vergelijkbare patronen voor data opwerking.
• Ervaring met publieke of overheidsdatabronnen, zoals open.overheid.nl, parlementaire data of andere open data-voorzieningen.
• Ervaring met metadata, lineage en documentatie van datasets.
• Ervaring binnen een overheidsorganisatie of in een omgeving met hoge eisen aan beheer, beveiliging en herbruikbaarheid.

… lees de volledige omschrijving bij De Transparante Broker.