Data Engineer 2fte

Functie

Je speelt een centrale rol binnen het Business Intelligence Team van BZ.

Waar gaat de opdracht over?

Buitenlandse Zaken heeft de ambitie door te groeien naar een informatiegestuurde, datagedreven organisatie. Om dit te verwezenlijken loopt een diversiteit aan business intelligence & analytics (BIA)- en data science-projecten die grotendeels in elkaar verweven zijn. Ontwikkeling en beheer worden uitgevoerd door twee ontwikkel- en beheerteams onder aansturing van twee projectleiders.

Je activiteiten richten zich op het doorontwikkelen van het datawarehouse op basis van het Databricks-platform. Uitgebreide kennis van Python en SQL is hiervoor van belang.

Wat ga je doen?

De volgende taken en resultaatgebieden worden onderkend:

• Je ontwikkelt, onderhoudt en optimaliseert datapipelines voor specifieke informatieproducten. Hiervoor gebruik je het Databricks-platform.
• Je zorgt ervoor dat de workloads gemanaged (deployment via DevOps-pipelines) naar ontwikkeling en productie worden gebracht. Je ontwikkelt dit proces continu door.
• Je zorgt voor het zoveel mogelijk geheel of gedeeltelijk automatiseren van de laad- en verwerkingsprocessen.
• Je denkt onafhankelijk en zet technologische kennis in om verschillende concepten te integreren, zodat unieke oplossingen ontstaan (innoveren).
• Je speelt een centrale rol bij het strategisch positioneren en toepasbaar maken (beschikbaar maken, automatiseren, inladen en prepareren) van de data- en analyse-initiatieven voor (beleids)directies en posten. Het grootste deel van je werk besteed je aan het bouwen, beheren en optimaliseren van datapipelines en het effectief verplaatsen van deze datapipelines naar productie.
• Je werkt nauw samen met het functionele DevOps-team van Infra Engineers, analisten en Tableau-ontwikkelaars. Hiervoor is soms een flinke dosis flexibiliteit en creativiteit nodig richting de collega-teamleden.

Wie ben jij?

Je weet van aanpakken, kunt goed omgaan met een grote verscheidenheid aan werkzaamheden gedurende de werkdagen en bent een echte teamspeler.

Bovendien ben je de Data Engineer-specialist op het gebied van het ontsluiten van data uit bronnen, datatransformaties en datamodelleren.

Profiel

• Je werkt nauw samen met BI-consultants, datagebruikers, datascientists e.a. op in de hiervoor genoemde technieken, zodat ze in staat zijn om de data die ze nodig hebben te integreren en te gebruiken.
• Je ondersteunt, adviseert en stemt af met data analisten, infra engineer, visualisten, datascientists en BI-consultant (en informatiemanagers) betreffende informatieplanning en informatiestrategie.
• Je bent verantwoordelijk voor het monitoren en signaleren van de meest recente ontwikkelingen van innovatieve en moderne tools, technieken en architectuur voor data-ontwikkeling en beheer.
• Je ontwikkelt, beheert en optimaliseert datapipelines op het Databricks-platform.
• Je zorgt ervoor dat data uit verschillende bronnen wordt ontsloten, getransformeerd en gemodelleerd, en dat pipelines effectief naar productie worden gebracht.
• Je werkt in een multidisciplinair scrumteam nauw samen met onder anderen data-analisten, data scientists, BI-consultants, infra-engineers, visualisten en businessvertegenwoordigers.

Je bent flexibel, creatief en een teamspeler, en kunt goed omgaan met uiteenlopende werkzaamheden.

Eisen

• Werk- en denkniveau (algemeen en specifiek)
• Ervaring met netwerken, specifiek in relatie tot Databricks en Microsoft Azure
• Op de hoogte van de laatste inzichten op het gebied van inrichten en beveiligen van Azure resources zoals data oplossingen
• Testen
• Ondersteunen van wijzigingen
• Gebruikgedreven ontwerpen
• Privacy. security en Ethiek
• Informatie en kennismanagement
• Je hebt ervaring met CI/CD methodologie en Azure DevOps

… lees de volledige omschrijving bij Tender Link.