• Klant
    Nutricia Nederland Marketing- en Innovatieafdeling Medewerkers analyseren voortdurend de markt en de positie van het bedrijf daarin. Ze zoeken naar niches voor nieuwe producten en mogelijkheden om de aanwezigheid van bestaande producten uit te breiden
  • Doelstelling

    Marktgegevens komen uit verschillende bronnen, met verschillende frequentie en detailniveau. Om marktaandeelanalyses en andere indicatoren uit te voeren, moeten medewerkers deze gegevens elke keer uit verschillende bronnen verzamelen. Onze taak was om een algoritme te ontwikkelen en het proces te automatiseren waarin de klant alle gegevens "met één knop" kan downloaden en verwerken, evenals de stamgegevens over producten en marktdeelnemers kan verrijken met categorieën en waarden die in het bedrijf worden gebruikt.

  • Oplossing
    We hebben een automatische pijplijn ontwikkeld waarin gegevens automatisch worden verzameld uit de vereiste bronnen, verwerkt en geladen in het MD-verrijkingssysteem, en na verrijking door de gebruiker, naar de uiteindelijke opslag en van daaruit naar PowerBI.
  • Technologie

    De oplossing is gebouwd op het gebruik van de belangrijkste platforms van de klant:

    Gegevensverwerking:

         Informatica PowerCenter
         Python
         Linux-opdrachten

    Gegevensverrijking: SQL Server Master Data Services

    Front End: PowerBI

Hoe werkt het?

1
Gegevensbronnen
  • cloud databases
  • on-premise database
  • Excel-bestanden met "mooie" opmaak
  • csv-bestanden
2
Python Script
  • verwerking van Excel-bestanden met opmaak
  • conversie naar *.csv
3
Linux Pipeline
  • Gegevensfiltering
4
Staging
  • Staging schema gegevens laden
5
Aggregatie / MDS
  • Gegevensaggregatie op maandniveau
  • Vullen van Intermediate Fact Tables
  • Laden van MD datamarts
  • Gegevensoverdracht naar MDS
6
MDS
  • MD Verrijking door gebruiker
  • Voer MD in die nodig is voor berekeningen: cursussen, eenheden. conversiepercentages.
  • Start voortzetting van de gegevensstroom
7
DWH Laden
  • Berekening en laden van datamarts uit facttabellen en MDS-gebruikersgegevens
  • Registratie van het downloadlogboek en de opgetreden fouten met de redenen
8
PowerBI
  • PowerBI dataset verversen