2FTE Data Engineers

Functieomschrijving

Als 2FTE Data Engineers bij het Ministerie van Buitenlandse Zaken speel je een centrale rol in het ontwikkelen, beheren en optimaliseren van moderne dataoplossingen. Je werkt binnen het Business Intelligence-team en draagt bij aan de ambitie van Buitenlandse Zaken om zich verder te ontwikkelen tot een informatiegestuurde en datagedreven organisatie.
Binnen het ministerie lopen verschillende projecten op het gebied van Business Intelligence & Analytics (BIA) en data science. Deze projecten zijn nauw met elkaar verbonden en ondersteunen verschillende afdelingen bij het beter benutten van data voor beleidsvorming, bedrijfsvoering en besluitvorming.
Je richt je voornamelijk op het verder ontwikkelen van het enterprise datawarehouse op basis van het Databricks-platform binnen Microsoft Azure.

Hierbij maak je gebruik van je kennis van Python, SQL, datapipelines en moderne cloudtechnologieën.
Je bent verantwoordelijk voor het ontwikkelen, onderhouden en optimaliseren van datapipelines waarmee gegevens uit verschillende bronnen worden ontsloten, getransformeerd en beschikbaar gesteld voor analyse en rapportage.
Daarnaast zorg je ervoor dat dataworkloads op een gecontroleerde en geautomatiseerde manier naar ontwikkel- en productieomgevingen worden gebracht. Hierbij werk je met Azure DevOps, CI/CD-processen en andere automatiseringstechnieken.
Je speelt ook een belangrijke rol bij het verder automatiseren van laad- en verwerkingsprocessen en het verbeteren van de betrouwbaarheid, schaalbaarheid en veiligheid van de dataomgeving.
Binnen het team werk je nauw samen met data-analisten, data scientists, BI-consultants, infrastructuurspecialisten, Tableau-ontwikkelaars en informatiemanagers.

Samen zorgen jullie ervoor dat data op een verantwoorde en effectieve manier beschikbaar komt voor verschillende gebruikers binnen het ministerie. Je houdt rekening met datagovernance, compliance en informatiebeveiliging en werkt samen met onder andere datastewards om deze uitgangspunten te vertalen naar technische oplossingen. Met jouw kennis van moderne data-architecturen en cloudtechnologieën lever je een belangrijke bijdrage aan de verdere ontwikkeling van het Data Competence Centre en de informatievoorziening van Buitenlandse Zaken. Taken en verantwoordelijkheden Ontwikkelen, onderhouden en optimaliseren van datapipelines voor specifieke informatieproducten.Verder ontwikkelen van het enterprise datawarehouse op basis van Azure Databricks.Ontsluiten en integreren van gegevens uit verschillende interne en externe databronnen.Ontwikkelen en beheren van datatransformaties en datamodellen.Toepassen van Python en SQL bij het ontwikkelen en verbeteren van dataoplossingen.Ontwikkelen en onderhouden van dataworkloads binnen Microsoft Azure.Inrichten en verbeteren van geautomatiseerde data-integratieprocessen.Werken met Azure Data Factory en vergelijkbare oplossingen voor batch- en streamingverwerking.Ontwikkelen en optimaliseren van CI/CD-processen met Azure DevOps.Automatiseren van deployments naar ontwikkel- en productieomgevingen.Beheren en optimaliseren van bestaande datapipelines.Monitoren van de werking en prestaties van dataworkloads.Signaleren en oplossen van technische problemen binnen data-integratieprocessen.Bijdragen aan het veilig inrichten en beheren van Azure-resources.Toepassen van actuele inzichten rondom beveiliging van cloudomgevingen en Databricks.Ondersteunen bij netwerkvraagstukken in relatie tot Databricks en Microsoft Azure.Bijdragen aan het beheer en de optimalisatie van cloudservices.Automatiseren van laad- en verwerkingsprocessen.Werken met PowerShell voor het ondersteunen en automatiseren van technische processen.Ondersteunen bij het beheer van visualisatieprogramma's zoals Tableau.Afstemmen met data-analisten, BI-consultants en data scientists over informatiebehoeften.Adviseren over technische mogelijkheden voor dataontsluiting en dataverwerking.Samenwerken met datastewards om datagovernance en compliance-eisen te verwerken in technische oplossingen.Bijdragen aan het verantwoord gebruik van gegevens binnen de organisatie.Signaleren van nieuwe ontwikkelingen op het gebied van Data Engineering, Data Analytics en datawarehousing.Meedenken over…

… lees de volledige omschrijving bij 1UPPLY.