-
Kunde
Mitarbeiter der Marketing- und Innovationsabteilung von Nutricia Niederlande analysieren ständig den Markt und die Position des Unternehmens darin. Sie suchen nach Nischen für neue Produkte und Möglichkeiten zur Erweiterung der Präsenz bestehender Produkte.
-
Zielsetzung
Marktdaten stammen aus verschiedenen Quellen, mit unterschiedlicher Häufigkeit und Detailgenauigkeit. Um Marktanteilsanalysen und andere Indikatoren durchzuführen, müssen die Mitarbeiter diese Daten jedes Mal aus verschiedenen Quellen sammeln. Unsere Aufgabe war es, einen Algorithmus zu entwickeln und den Prozess zu automatisieren, bei dem der Kunde alle Daten "mit einem Knopfdruck" herunterladen und verarbeiten kann, sowie die Stammdaten zu Produkten und Marktteilnehmern mit Kategorien und Werten zu bereichern, die im Unternehmen verwendet werden.
-
Lösung
Wir haben eine automatische Pipeline entwickelt, in der Daten automatisch aus den erforderlichen Quellen gesammelt, verarbeitet und in das MD-Anreicherungssystem geladen werden, und nach der Anreicherung durch den Benutzer in den endgültigen Speicher und von dort zu PowerBI.
-
Technologie
Die Lösung basiert auf der Nutzung der Hauptplattformen des Kunden:
Datenverarbeitung:
Informatica PowerCenter
Python
Linux-BefehleDatenanreicherung: SQL Server Master Data Services
Front End: PowerBI
Wie funktioniert es?
- Cloud-Datenbanken
- On-Premise-Datenbank
- Excel-Dateien mit "schöner" Formatierung
- CSV-Dateien
- Verarbeitung von Excel-Dateien mit Formatierung
- Umwandlung in *.csv
- Datenfilterung
- Datenladung des Staging-Schemas
- Datenaggregation auf Monatsebene
- Befüllung von Intermediate Fact Tables
- Laden von MD-Datenmarts
- Datenübertragung zu MDS
- MD-Anreicherung durch Benutzer
- Eingabe der für Berechnungen erforderlichen MD: Kurse, Einheiten, Umrechnungskurse.
- Fortsetzung des Datenflusses starten
- Berechnung und Laden von Datenmarts aus Faktentabellen und MDS-Benutzerdaten
- Aufzeichnung des Download-Protokolls und der aufgetretenen Fehler mit den Gründen
- PowerBI-Dataset-Aktualisierung