Data Engineer (2x) - Ministerie van Buitenlandse Zaken

Senior Data Engineer Over de functie

Als Senior Data Engineer ontwikkel, beheer en optimaliseer je datapipelines en maak je data beschikbaar voor analyse en informatieproducten. Je werkt met Databricks op Microsoft Azure en besteedt een groot deel van je tijd aan het bouwen en beheren van datapipelines en het naar productie brengen ervan.

Wat ga je doen?

• Ontwikkelen, onderhouden en optimaliseren van datapipelines voor informatieproducten op het Databricks-platform.
• Ontsluiten van gegevens uit bronnen, uitvoeren van datatransformaties en modelleren van data.
• Automatiseren van laad- en verwerkingsprocessen.
• Workloads via DevOps-pipelines naar ontwikkel- en productieomgevingen brengen en dit proces continu verbeteren.
• Afstemmen met en adviseren van data-analisten, infra-engineers, visualisten, data scientists, BI-consultants en informatiemanagers over informatieplanning en -strategie.
• Samenwerken met BI-consultants, datagebruikers en data scientists om data te integreren en bruikbaar te maken.
• Compliance-eisen en datagovernance verwerken in technische oplossingen, zodat data verantwoord wordt gebruikt.
• Ontwikkelingen volgen op het gebied van moderne tools, technieken en architectuur voor dataontwikkeling en -beheer.
• Technologische kennis inzetten om concepten te combineren en nieuwe oplossingen te ontwikkelen.

Wat breng je mee?

• Ervaring als data-engineer binnen de overheid.
• Ervaring met netwerken, specifiek in relatie tot Databricks en Microsoft Azure.
• Kennis van de inrichting en beveiliging van Azure-resources, zoals Databricks.
• Ervaring met systeembouw, systeemintegratie, het implementeren van dataoplossingen, testen en het ondersteunen van wijzigingen.
• Ervaring met gebruikgedreven ontwerpen en kennis van privacy, security en ethiek.
• Ervaring met CI/CD-methodologie en Azure DevOps.
• Ervaring met Azure-tools zoals Azure DevOps en Data Factory, voor zowel streaming- als batchverwerking.
• Bekendheid met enterprise datawarehouse- en business-intelligencearchitecturen.
• Ervaring met PowerShell en het beheren van cloudservices.
• Brede productkennis van business-intelligence- en datawarehouse-tools.
• Kennis van en ervaring met datamanagement en datagovernance.
• Goede beheersing van de Nederlandse taal.
• Vermogen om draagvlak te creëren voor de grenzen van data-engineering.
• Vaardigheid in het ontwikkelen, uitdragen en verdedigen van beleids- en bedrijfsvoeringproducten, diensten, beleid, processen, ideeën en concepten.
• Vaardigheid in het tot stand brengen, implementeren en uitvoeren van producten, diensten, beleid en processen.
• Interesse in en kennis van de nieuwste technologieën op het gebied van data-engineering, data-analyse en datawarehousing.
• Flexibiliteit, creativiteit, een praktische aanpak en het vermogen om goed samen te werken in een multidisciplinair team.

Pré’s

• Ervaring met het beheren van visualisatieprogramma’s, zoals Tableau, en kennis van visualisatietools zoals Tableau.
• Kennis van financiële en/of HR-processen, bij voorkeur binnen de Rijksoverheid.
• Kennis van en ervaring met SAP-architectuur.