• Kunde
    Mitarbeiter der Marketing- und Innovationsabteilung von Nutricia Niederlande analysieren ständig den Markt und die Position des Unternehmens darin. Sie suchen nach Nischen für neue Produkte und Möglichkeiten zur Erweiterung der Präsenz bestehender Produkte.
  • Zielsetzung

    Marktdaten stammen aus verschiedenen Quellen, mit unterschiedlicher Häufigkeit und Detailgenauigkeit. Um Marktanteilsanalysen und andere Indikatoren durchzuführen, müssen die Mitarbeiter diese Daten jedes Mal aus verschiedenen Quellen sammeln. Unsere Aufgabe war es, einen Algorithmus zu entwickeln und den Prozess zu automatisieren, bei dem der Kunde alle Daten "mit einem Knopfdruck" herunterladen und verarbeiten kann, sowie die Stammdaten zu Produkten und Marktteilnehmern mit Kategorien und Werten zu bereichern, die im Unternehmen verwendet werden.

  • Lösung
    Wir haben eine automatische Pipeline entwickelt, in der Daten automatisch aus den erforderlichen Quellen gesammelt, verarbeitet und in das MD-Anreicherungssystem geladen werden, und nach der Anreicherung durch den Benutzer in den endgültigen Speicher und von dort zu PowerBI.
  • Technologie

    Die Lösung basiert auf der Nutzung der Hauptplattformen des Kunden:

    Datenverarbeitung:

         Informatica PowerCenter
         Python
         Linux-Befehle

    Datenanreicherung: SQL Server Master Data Services

    Front End: PowerBI

Wie funktioniert es?

1
Datenquellen
  • Cloud-Datenbanken
  • On-Premise-Datenbank
  • Excel-Dateien mit "schöner" Formatierung
  • CSV-Dateien
2
Python-Skript
  • Verarbeitung von Excel-Dateien mit Formatierung
  • Umwandlung in *.csv
3
Linux-Pipeline
  • Datenfilterung
4
Staging
  • Datenladung des Staging-Schemas
5
Aggregation / MDS
  • Datenaggregation auf Monatsebene
  • Befüllung von Intermediate Fact Tables
  • Laden von MD-Datenmarts
  • Datenübertragung zu MDS
6
MDS
  • MD-Anreicherung durch Benutzer
  • Eingabe der für Berechnungen erforderlichen MD: Kurse, Einheiten, Umrechnungskurse.
  • Fortsetzung des Datenflusses starten
7
DWH-Ladung
  • Berechnung und Laden von Datenmarts aus Faktentabellen und MDS-Benutzerdaten
  • Aufzeichnung des Download-Protokolls und der aufgetretenen Fehler mit den Gründen
8
PowerBI
  • PowerBI-Dataset-Aktualisierung