Senior Data Engineer

Opdrachtgever

Het ministerie van Sociale Zaken en Werkgelegenheid (SZW) werkt aan eerlijk, gezond en veilig werk in Nederland. Iedereen moet de kans krijgen om mee te doen en zich te ontwikkelen. De directie CIO-office, Informatie voor bedrijfsvoering en beleid en Integrale Veiligheid (CIV) draagt bij aan het veilig en beheerst omgaan met IV en helpt SZW de kansen van nieuwe technologie zoals data en algoritmen te benutten, binnen de kaders voor privacy en informatiebeveiliging. De sfeer binnen de afdeling is collegiaal en informeel, met veel aandacht voor vakkennis en persoonlijke ontwikkeling.

Project

We zoeken een senior Data Engineer die niet alleen technisch sterk is, maar ook goed past binnen de organisatie en het team. Binnen het ministerie van Sociale Zaken en Werkgelegenheid (SZW) wordt gewerkt aan meerdere data-projecten en applicaties die gebruik willen maken van publiek beschikbare databronnen. Voorbeelden hiervan zijn data van open.overheid.nl, de Tweede Kamer en vergelijkbare openbare bronnen.

Binnen CIV werkt het Data & AI Competence Center (DACC) aan een centrale voorziening op het Cloud Data Platform (CDP), een Azure-omgeving met onder meer Databricks. Doel is om publieke databronnen centraal te verbinden, op te werken en beschikbaar te maken voor hergebruik door andere teams en toepassingen. Denk daarbij aan dashboards, analyses, AI-toepassingen en andere data-producten.Omdat meerdere initiatieven binnen SZW/NLA gebruik willen maken van dezelfde publieke data, willen we de ontsluiting, bewerking en beschikbaarstelling niet per project apart organiseren, maar centraal en herhaalbaar inrichten. Het gaat nadrukkelijk om een robuuste en onderhoudbare oplossing, geen tijdelijke of ad-hoc inrichting. Hiervoor zoeken we senior versterking binnen het DACC.

Opdrachtomschrijving

De kandidaat draait mee in het DACC en realiseert hands-on een centrale, herbruikbare en beheersbare inrichting op het Cloud Data Platform voor het ontsluiten, verrijken en beschikbaar maken van publieke databronnen voor intern hergebruik binnen SZW/NLA. De kandidaat bouwt hiervoor de benodigde data-ingestie- en transformatiepipelines, helpt de technische basis neer te zetten voor volgende databronnen en afnemers, en draagt bij aan keuzes rond kwaliteit, beheer en schaalbaarheid. In grote lijnen gaat het om:

het inventariseren van relevante publieke databronnen, hun technische ontsluitingsmogelijkheden en de behoeften van afnemende teams en applicaties;

het ontwerpen en realiseren van robuuste data-ingestie voor publieke bronnen naar het Cloud Data Platform, onder meer voor API-gebaseerde en andere open databronnen;

het opschonen, transformeren, verrijken en structureren van data, zodat deze bruikbaar en consistent beschikbaar komt voor hergebruik;

het inrichten van herhaalbare data-pipelines in Azure/Databricks, inclusief foutafhandeling, logging, monitoring en herstelbaarheid;

het beschikbaar maken van datasets voor afnemers in een vorm die past bij verschillende gebruiksscenario’s, zoals analyses, dashboards, AI-toepassingen en verdere dataverwerking;

het bijdragen aan afspraken over datamodellering, metadata, documentatie, kwaliteit en beheer, zodat volgende databronnen sneller en consistenter aangesloten kunnen worden;

het afstemmen met betrokken stakeholders, zoals het DACC, data-afnemers, architectuur, platformbeheer en andere betrokken teams binnen CIV en daarbuiten;

het mede bepalen van technische keuzes en richting binnen het team, en het overdragen van kennis aan teamleden.

… lees de volledige omschrijving bij SourcePower.