• Doelstelling

    Het project had tot doel een uniform data-analyseplatform te creëren door Nielsen- en IQVIA-datasets te integreren. Dit maakte nauwkeurige en bruikbare inzichten mogelijk in marktaandeel, consumentengedrag en aankoopgedrag, terwijl gegevensconsistentie en betrouwbaarheid werden gewaarborgd.

  • Oplossing

    De Market Share Cockpit was ontworpen om verkoopgegevens efficiënt te verwerken en te analyseren. De oplossing maakte gebruik van Azure Data Factory en Snowflake voor data staging, verwerking en laden, terwijl SQL Server Master Data Services werden gebruikt voor masterdata-verrijking. Geavanceerde hiërarchische transformaties zorgden voor gegevensconsistentie over meerdere aggregatieniveaus, waardoor naadloze vergelijkingen tussen externe marktinformatie en interne ERP-rapporten mogelijk waren. Geautomatiseerde gegevenskwaliteitscontroles, waaronder KPI-analyse en monitoring van waarde frequentie, werden geïmplementeerd om de nauwkeurigheid en betrouwbaarheid van gegevens te verbeteren.

  • Resultaat
    • Robuuste Gegevensintegratie: Een enkel, uniform platform dat Nielsen- en IQVIA-gegevens consolideert.

    • Verbeterde Master Data Mapping: Verbeterde afstemming van externe intelligentie met interne categoriseringen voor betere besluitvorming.

    • Geautomatiseerde Aanpasbaarheid: Dynamische aanpassing aan evoluerende datastructuren voor voortdurende nauwkeurigheid.

    • Consistente Hiërarchische Gegevens: Zorgde voor afstemming van verkoopgegevens over meerdere aggregatieniveaus.

    • Uitgebreide Gegevenskwaliteitsborging: Geïntegreerde validatie- en monitoringprocessen voor betrouwbare inzichten.

  • Technologie
    • Cloudopslag & Verwerking: Azure Data Lake, Snowflake

    • ETL & Gegevensintegratie: Azure Data Factory, SQL Server Master Data Services

    • Gegevenskwaliteitscontroles: Geautomatiseerde KPI-analyse, waarde frequentieanalyse en monitoring dashboards

    • Beveiliging & Gegevensoverdracht: Veilige SFTP voor Nielsen-gegevens, service-principal-gebaseerde opname voor IQVIA-gegevens

Hoe werkt het?

1
Gegevensbronnen
  • cloud databases
  • on-premise database
  • Excel-bestanden met "mooie" opmaak
  • csv-bestanden
2
Python Script
  • verwerking van Excel-bestanden met opmaak
  • conversie naar *.csv
3
Linux Pipeline
  • Gegevensfiltering
4
Staging
  • Staging schema gegevens laden
5
Aggregatie / MDS
  • Gegevensaggregatie op maandniveau
  • Vullen van Intermediate Fact Tables
  • Laden van MD datamarts
  • Gegevensoverdracht naar MDS
6
MDS
  • MD Verrijking door gebruiker
  • Voer MD in die nodig is voor berekeningen: cursussen, eenheden. conversiepercentages.
  • Start voortzetting van dataflow
7
DWH Laden
  • Berekening en laden van datamarts uit facttabellen en MDS-gebruikersgegevens
  • Registratie van het downloadlogboek en de opgetreden fouten met de redenen
8
PowerBI
  • PowerBI dataset verversen