-
Klant
Nutricia Nederland Marketing- en Innovatieafdeling Medewerkers analyseren voortdurend de markt en de positie van het bedrijf daarin. Ze zoeken naar niches voor nieuwe producten en mogelijkheden om de aanwezigheid van bestaande producten uit te breiden
-
Doelstelling
Marktgegevens komen uit verschillende bronnen, met verschillende frequentie en detailniveau. Om marktaandeelanalyses en andere indicatoren uit te voeren, moeten medewerkers deze gegevens elke keer uit verschillende bronnen verzamelen. Onze taak was om een algoritme te ontwikkelen en het proces te automatiseren waarin de klant alle gegevens "met één knop" kan downloaden en verwerken, evenals de stamgegevens over producten en marktdeelnemers kan verrijken met categorieën en waarden die in het bedrijf worden gebruikt.
-
Oplossing
We hebben een automatische pijplijn ontwikkeld waarin gegevens automatisch worden verzameld uit de vereiste bronnen, verwerkt en geladen in het MD-verrijkingssysteem, en na verrijking door de gebruiker, naar de uiteindelijke opslag en van daaruit naar PowerBI.
-
Technologie
De oplossing is gebouwd op het gebruik van de belangrijkste platforms van de klant:
Gegevensverwerking:
Informatica PowerCenter
Python
Linux-opdrachtenGegevensverrijking: SQL Server Master Data Services
Front End: PowerBI
Hoe werkt het?
- cloud databases
- on-premise database
- Excel-bestanden met "mooie" opmaak
- csv-bestanden
- verwerking van Excel-bestanden met opmaak
- conversie naar *.csv
- Gegevensfiltering
- Staging schema gegevens laden
- Gegevensaggregatie op maandniveau
- Vullen van Intermediate Fact Tables
- Laden van MD datamarts
- Gegevensoverdracht naar MDS
- MD Verrijking door gebruiker
- Voer MD in die nodig is voor berekeningen: cursussen, eenheden. conversiepercentages.
- Start voortzetting van de gegevensstroom
- Berekening en laden van datamarts uit facttabellen en MDS-gebruikersgegevens
- Registratie van het downloadlogboek en de opgetreden fouten met de redenen
- PowerBI dataset verversen