• Zielsetzung

    Das Projekt zielte darauf ab, eine einheitliche Datenanalyseplattform durch die Integration von Nielsen- und IQVIA-Datensätzen zu schaffen. Dies ermöglichte genaue und umsetzbare Einblicke in Marktanteile, Verbraucherverhalten und Kaufmuster, während die Datenkonsistenz und -zuverlässigkeit sichergestellt wurden.

  • Lösung

    Das Marktanteil-Cockpit wurde entwickelt, um Verkaufsdaten effizient zu verarbeiten und zu analysieren. Die Lösung nutzte Azure Data Factory und Snowflake für die Datenbereitstellung, -verarbeitung und -ladung, während SQL Server Master Data Services für die Anreicherung der Stammdaten verwendet wurden. Fortschrittliche hierarchische Transformationen stellten die Datenkonsistenz über mehrere Aggregationsebenen sicher und ermöglichten nahtlose Vergleiche zwischen externer Marktintelligenz und internen ERP-Berichten. Automatisierte Datenqualitätsprüfungen, einschließlich KPI-Analyse und Überwachung der Wertfrequenz, wurden implementiert, um die Datengenauigkeit und -zuverlässigkeit zu verbessern.

  • Ergebnis
    • Robuste Datenintegration: Eine einzige, einheitliche Plattform, die Nielsen- und IQVIA-Daten konsolidiert.

    • Verbesserte Stammdatenzuordnung: Verbesserte Ausrichtung externer Intelligenz mit internen Kategorisierungen für bessere Entscheidungsfindung.

    • Automatisierte Anpassungsfähigkeit: Dynamische Anpassung an sich entwickelnde Datenstrukturen für kontinuierliche Genauigkeit.

    • Konsistente hierarchische Daten: Sicherstellung der Ausrichtung von Verkaufsdaten über mehrere Aggregationsebenen hinweg.

    • Umfassende Datenqualitätsgarantie: Integrierte Validierungs- und Überwachungsprozesse für zuverlässige Einblicke.

  • Technologie
    • Cloud-Speicherung & -Verarbeitung: Azure Data Lake, Snowflake

    • ETL & Datenintegration: Azure Data Factory, SQL Server Master Data Services

    • Datenqualitätsprüfungen: Automatisierte KPI-Analyse, Wertfrequenzanalyse und Überwachungs-Dashboards

    • Sicherheit & Datenübertragung: Sicheres SFTP für Nielsen-Daten, service-principal-basierte Ingestion für IQVIA-Daten

Wie funktioniert es?

1
Datenquellen
  • Cloud-Datenbanken
  • On-Premise-Datenbank
  • Excel-Dateien mit "schöner" Formatierung
  • CSV-Dateien
2
Python-Skript
  • Verarbeitung von Excel-Dateien mit Formatierung
  • Umwandlung in *.csv
3
Linux-Pipeline
  • Datenfilterung
4
Staging
  • Datenladung in das Staging-Schema
5
Aggregation / MDS
  • Datenaggregation auf Monatsebene
  • Befüllung von Intermediate Fact Tables
  • Laden von MD-Datenmarts
  • Datenübertragung zu MDS
6
MDS
  • MD-Anreicherung durch Benutzer
  • Eingabe der für Berechnungen erforderlichen MD: Kurse, Einheiten, Umrechnungsraten.
  • Fortsetzung des Datenflusses starten
7
DWH-Ladung
  • Berechnung und Laden von Datenmarts aus Faktentabellen und MDS-Benutzerdaten
  • Aufzeichnung des Download-Protokolls und der aufgetretenen Fehler mit den Gründen
8
PowerBI
  • PowerBI-Dataset-Aktualisierung