Data Streaming Engineer

Daarom wil je als Data Streaming Engineer bij NS werken:Je draagt direct bij aan het verbeteren van de reiservaring van miljoenen mensen door slimme data-oplossingen te ontwikkelen.Je werkt in een multidisciplinair, innovatief team (FLUX) dat volop ruimte biedt voor eigen initiatief en ontwikkeling.Je stapt in op het moment dat FLOW wordt opgebouwd en krijgt invloed op de architectuur, deploymentstrategie en operationele inrichting van een realtime prognoseplatform.Data vormt een essentieel onderdeel van al onze processen en kent een constante dynamiek. Dagelijks vertrouwen ruim één miljoen reizigers in Nederland op onze technologie voor het verkrijgen van accurate informatie en het faciliteren van het treinverkeer. Vanuit het hoofdkantoor in Utrecht werken diverse teams op de achtergrond aan het realiseren van deze uitdagingen binnen een innovatieve dataomgeving.Binnen het cluster Reizigersstromen werk je als Data Streaming Engineer mee in team FLUX, een Advanced Analytics-team. FLUX ontwikkelt onder andere het realisatiemodel dat achteraf het aantal reizigers per trein nauwkeurig in kaart brengt. De uitkomsten van dit model vormen de basis voor processen zoals het berekenen van concessie-KPI’s, rapportages aan overheidsinstanties, inzichten in reizigersstromen, drukte op stations en commerciële analyses. Naast dit bestaande FLUX-product starten we met FLOW: een nieuwe applicatie die op basis van realtime datastromen en machine learning reizigersprognoses maakt voor de operatie op dezelfde dag.FLOW wordt ontwikkeld in een moderne cloudomgeving op Microsoft Azure en Databricks. Je werkt aan streaming pipelines en event-driven componenten met technologieën zoals Azure Event Hubs, Azure Functions en Databricks Structured Streaming. Belangrijke databronnen zijn onder andere check-in/check-uit transacties, ticketverkoop, dienstregelingen updates en conducteurscontroles. Met deze data bouwen we realtime inzichten en prognoses die helpen bij operationele sturing, monitoring van drukte en het verbeteren van reizigersinformatie.Je werkt als teamlid met een sterke Data Engineering-, Streaming- of ML Engineering-achtergrond mee aan het opzetten van FLOW.Dankzij jouw expertise in streaming architecturen, cloudcomponenten en machine learning ben jij van onschatbare waarde bij:Het ontwerpen, bouwen en beheren van schaalbare streaming pipelines voor realtime prognoses binnen FLOW.Het inrichten van event-driven cloudcomponenten, zoals Azure Event Hubs, Azure Functions en Databricks Structured Streaming.Het integreren van machine learning in streaming datastromen, zodat prognosemodellen continu kunnen werken met actuele informatie.Het ontwikkelen van deploymentstrategieën voor streaming applicaties, met aandacht voor betrouwbaarheid, schaalbaarheid en veilige releases.Het ontwerpen van replay-mechanismen waarmee historische streaming events gecontroleerd opnieuw kunnen worden afgespeeld bij incidenten, testen of modelverbeteringen.Het opzetten van streaming operations, monitoring, alerting en observability om een stabiele productieomgeving te garanderen.Het analyseren van datastromen en operationele metrieken om zwakke plekken in pipelines, modellen en processen snel zichtbaar te maken.Het samenwerken met data scientists, data engineers, IT en stakeholders om realtime use-cases van idee naar productie te brengen.