Senior Data Engineer

Functietitel

Senior Data Engineer

Opdracht

Je realiseert hands‑on een centrale, herbruikbare en beheersbare inrichting op het Cloud Data Platform (Azure/Databricks) voor het ontsluiten, verrijken en beschikbaar maken van publieke databronnen voor intern hergebruik binnen SZW/NLA.

Belangrijkste taken en verantwoordelijkheden

• Inventariseren van relevante publieke databronnen (bijv. open.overheid.nl, Tweede Kamer) en hun technische ontsluitingsmogelijkheden.
• Ontwerpen en realiseren van robuuste data‑ingestie naar het Cloud Data Platform, inclusief API‑gebaseerde en andere open bronnen.
• Opschonen, transformeren, verrijken en structureren van data zodat deze bruikbaar en consistent beschikbaar is voor hergebruik.
• Inrichten van herhaalbare data‑pipelines in Azure/Databricks, inclusief foutafhandeling, logging, monitoring en herstelbaarheid.
• Beschikbaar maken van datasets in vormen passend bij verschillende gebruiksscenario’s (analyses, dashboards, AI‑toepassingen, verdere dataverwerking).
• Bijdragen aan afspraken over datamodellering, metadata, documentatie, kwaliteit en beheer voor snellere en consistentere aansluiting van volgende databronnen.
• Afstemmen met betrokken stakeholders zoals het DACC, data‑afnemers, architectuur, platformbeheer en andere teams.
• Mede bepalen van technische keuzes en richting binnen het team en overdragen van kennis aan teamleden.

Gewenste kennis en vaardigheden

• Ervaring met het bouwen van productie‑waardige data‑ingestie en transformatiepipelines.
• Kennis van Azure en Databricks en bijbehorende best practices voor schaalbaarheid en beheer.
• Ervaring met API‑integratie en ontsluiting van openbare databronnen.
• Vaardigheden in dataops‑aspecten: foutafhandeling, logging, monitoring en herstelstrategieën.
• Ervaring met datamodellering, metadata, documentatie en kwaliteitsafspraken.
• Communicatief vaardig in afstemming met technische en niet‑technische stakeholders; ervaring met kennisoverdracht binnen teams.

Afbakening

De focus ligt op het centraal ontsluiten van publieke databronnen binnen het Cloud Data Platform voor intern hergebruik. Exacte prioritering en invulling worden per sprint of iteratie in het team bepaald.

Eisen

• Minimaal 5 jaar ervaring als Data Engineer of in een vergelijkbare rol
• Aantoonbare ervaring met het ontwerpen en bouwen van data-pipelines en
  data-integraties in een cloudomgeving, bij voorkeur Microsoft Azure
• Ervaring met Databricks, Spark, Python en SQL
• Ervaring met het ontsluiten en verwerken van data uit externe bronnen,
  zoals REST API’s, open datasets en bestanden in verschillende formaten
• Ervaring met het opschonen, transformeren en modelleren van data voor
  hergebruik door verschillende afnemers
• Ervaring met het inrichten van robuuste, onderhoudbare en herhaalbare
  oplossingen, inclusief monitoring, foutafhandeling en documentatie
• Kennis van data-architectuur, datamodellering en datakwaliteit
• Ervaring met werken in een Agile/sprintteam
• Kandidaat beschikt over WO werk- en denkniveau
• Kandidaat heeft minimaal 5 jaar werkervaring als Data Engineer of in een
  vergelijkbare rol
• Kandidaat beschikt over kennis van data-engineering in Microsoft Azure,
  waaronder het ontwerpen en/of bouwen en/of beheren van dataoplossingen
  en/of het werken met gangbare programmeer- en querytalen
• Kandidaat heeft ervaring met het ontsluiten en/of combineren en/of
  verwerken van data uit externe bronnen binnen een Azure-omgeving ( zoals
  via API’s, databestanden en andere gegevensbronnen in verschillende
  formaten)

Wensen

• Ervaring met Azure Data Platform-componenten naast Databricks, zoals Azure
  Storage, en Data Factory
• Ervaring met Delta Lake, medallion-architectuur of vergelijkbare patronen
  voor data opwerking
• Ervaring met publieke of overheidsdatabronnen, zoals open.overheid.nl,
  parlementaire data of andere open data-voorzieningen
• Ervaring met metadata, lineage en documentatie van datasets
• Ervaring binnen een overheidsorganisatie of in een omgeving met hoge eisen
  aan beheer, beveiliging en herbruikbaarheid

… lees de volledige omschrijving bij GreenPepper.