Data Ingestion Engineer

Einddatum: 20-09-2027
Locatie: Utrecht/Thuiswerkplek.
Uiterlijk aanbieden: maandag 31 augustus om 11:00 uur.
Selectiegesprekken: vanaf donderdag 3 september.
Maximum tarief*: €95-,
*Let op: Bovenstaand tarief is een max. all-in uurtarief (incl. o.a. reiskosten, faciliteiten, eventuele vergoedingen en de fee(s) voor onze contractmanager FastFlex, excl. btw). Het tarief weegt mee in het selectieproces.

Dit ga je doen

Een van de strategische speerpunten van NS is om meer datagedreven te werken. De afdeling Data Innovatie & Analyse (DIA) speelt hierin een cruciale rol. Door datagedreven te werken, kunnen we repeterende processen verder automatiseren, beslissingen beter onderbouwen en voorspellingen doen voor de toekomst. Je maakt deel uit van team Lakehouse, één van de vijf platformteams binnen DIA. Wij bouwen een grootschalig data-ingestieplatform dat datateams maximaal faciliteert, zodat zij zich volledig kunnen richten op het maken van waardevolle data-, informatie en AI-producten.

Als Data Ingestion Engineer ben je bij ons geen traditionele 'pijplijnbouwer'. Je bent medeverantwoordelijk voor het volledige ontwikkel- en beheerproces van ons platform. De focus ligt hierbij op automatisering en kwaliteit. Je slaat de brug tussen software engineering en data engineering om een productiewaardig platform neer te zetten. Dankzij jou Python programmeer skills en ervaring met data-ingestie ben jij van onschatbare waarde bij het bouwen aan een solide, gestandaardiseerde 'achterkant' die data niet alleen verplaatst, maar ook valideert en als een betrouwbaar product aanbiedt. Je houdt je dagelijks bezig met:

• Je ontwikkelt met Python de core services van het data-ingestieplatform. Dit omvat generieke componenten voor patronen, zoals API en FTP en het implementeren van data push-principes (bijv. endpoints voor bronnen);
• Je zorgt voor logica rondom validatie, versioning en metadata-management, zodat we een betrouwbare 'brons en zilver layer' aanbieden in Databricks in plaats van enkel ruwe bestanden;
• Je werkt met RDBMS (bijv. Postgres) voor efficiënte opslag van dataconfiguraties;
• Je gebruikt containers (in Azure Container Apps) om pipelines in te draaien;
• Je ontwerpt en bouwt API's.

Hier ga je werken

Je gaat werken in team Lakehouse. Dit is een autonoom scrumteam met zes Developers, een UX-designer, een Scrum Master en een Product Owner. We werken hybride, dus op ons hoofdkantoor in Utrecht of thuis. In principe hebben we één vaste kantoor dag maar je bent flexibel en vindt het geen probleem om vaker naar Utrecht of elders in het land te reizen. Samen willen we continue verbeteren, nemen we eigenaarschap en delen we actief kennis binnen en buiten het team. Bij NS vinden we diversiteit en inclusie belangrijk, het maakt samenwerken leuker en het resultaat wordt er vaak beter van. Wat jouw achtergrond of levensovertuiging is, maakt dan ook niet uit: we zijn vooral benieuwd naar jouw visie op de functie van Data Ingestion Engineer.

Dit zijn de eisen

• Minimaal HBO werk-en denkniveau; 
• Je hebt minimaal 3 jaar ervaring in een soortgelijke rol; 
• Je hebt ervaring met het bouwen van robuuste, schaalbare en onderhoudbare services in Python;
• Je hebt werkervaring bij een soortgelijke organisatie als NS (minimaal 5000 plus werkplekken); 
• Hands-on ervaring met Azure (Function Apps, Container Apps, ADLS Gen2) en schaalbare microservice-architecturen.;

… lees de volledige omschrijving bij Opdracht Overheid.