Senior Data Engineer

Functieomschrijving

Je werkt als senior Data Engineer aan een centrale, herbruikbare en beheersbare inrichting op een Cloud Data Platform (Azure/Databricks) voor het ontsluiten, verrijken en beschikbaar maken van publieke databronnen voor intern hergebruik. Voorbeelden van dergelijke bronnen zijn open.overheid.nl, parlementaire data en andere openbare datasets.

Taken en verantwoordelijkheden

• Inventarisatie: in kaart brengen van relevante publieke databronnen, technische ontsluitingsmogelijkheden en de behoeften van afnemende teams en applicaties.
• Data-ingestie: ontwerpen en realiseren van robuuste data-ingestie naar het Cloud Data Platform, inclusief API-gebaseerde en andere open bronnen.
• Data-opwerking: opschonen, transformeren, verrijken en structureren van data voor herbruikbaarheid en consistentie.
• Pipelines: inrichten van herhaalbare data-pipelines in Azure/Databricks met foutafhandeling, logging, monitoring en herstelbaarheid.
• Dataservices: datasets beschikbaar maken voor verschillende gebruiksscenario’s (analyses, dashboards, AI-toepassingen, verdere dataverwerking).
• Standaarden en governance: bijdragen aan afspraken over datamodellering, metadata, documentatie, kwaliteit en beheer.
• Stakeholderafstemming: afstemmen met betrokken stakeholders en samenwerken met platform-, architectuur- en andere teams.
• Richting en kennisdeling: mede bepalen van technische keuzes binnen het team en kennis overdragen aan collega’s.

Afbakening

De opdracht richt zich op het centraal ontsluiten van publieke databronnen binnen het Cloud Data Platform voor intern hergebruik. Exacte invulling en prioritering worden per sprint of iteratie met het team bepaald.

Vereisten

• Opleiding: WO werk- en denkniveau, bij voorkeur informatica, data engineering of software engineering.
• Ervaring: minimaal 5 jaar als Data Engineer of vergelijkbare rol.
• Cloud & tooling: aantoonbare ervaring met ontwerpen en bouwen van data-pipelines en integraties in een cloudomgeving, bij voorkeur Microsoft Azure.
• Technisch: ervaring met Databricks, Spark, Python en SQL.
• Data-ontsluiting: ervaring met ontsluiten en verwerken van data uit externe bronnen (REST API’s, open datasets, bestanden in verschillende formaten).
• Data-opwerking: ervaring met opschonen, transformeren en modelleren van data voor hergebruik.
• Robuustheid: ervaring met inrichten van onderhoudbare en herhaalbare oplossingen, inclusief monitoring, foutafhandeling en documentatie.
• Methodiek: ervaring met werken in een Agile/sprintteam.
• Persoonlijk: zelfstandig technische vraagstukken oppakken en goed samenwerken met collega’s uit verschillende disciplines.
• Communicatie: in staat om technische keuzes helder toe te lichten aan teamleden en stakeholders.

Wensen

• Kennis en ervaring met Azure Databricks, Spark, Python, SQL en het bouwen van robuuste, herhaalbare data-pipelines inclusief monitoring en foutafhandeling.
• Ervaring met ontsluiten, opschonen, transformeren en beschikbaar maken van publieke of externe databronnen voor meervoudig intern gebruik, bij voorkeur in een complexe of overheidscontext.
• Senioriteit in zelfstandig complexe data-vraagstukken oppakken, samenwerken met stakeholders, technisch richting geven en kennisoverdracht aan teamleden.
• Ervaring of affiniteit met de organisatie van de opdrachtgever.

Pré’s

• Ervaring met andere Azure Data Platform-componenten zoals Azure Storage en Data Factory.
• Ervaring met Delta Lake, medallion-architectuur of vergelijkbare patronen voor dataopwerking.
• Ervaring met publieke of overheidsdatabronnen (bijv. open.overheid.nl, parlementaire data).
• Ervaring met metadata, lineage en documentatie van datasets.
• Ervaring binnen een overheidsorganisatie of in een omgeving met hoge eisen aan beheer, beveiliging en herbruikbaarheid.

Eisen

• Kandidaat beschikt over WO werk- en denkniveau
• Kandidaat heeft minimaal 5 jaar werkervaring als Data Engineer of in een
  vergelijkbare rol
• Kandidaat beschikt over kennis van data-engineering in Microsoft Azure,
  waaronder het ontwerpen en/of bouwen en/of beheren van dataoplossingen
  en/of het werken met gangbare programmeer- en querytalen

… lees de volledige omschrijving bij GreenPepper.