-
Client
Les employés du département Marketing et Innovation de Nutricia Pays-Bas analysent constamment le marché et la place de l'entreprise dans celui-ci. Ils recherchent des niches pour de nouveaux produits et des opportunités d'élargir la présence des produits existants.
-
Objectif
Les données de marché proviennent de différentes sources, avec des fréquences et des niveaux de détail variés. Pour effectuer une analyse de part de marché et d'autres indicateurs, les employés doivent collecter ces données à partir de différentes sources à chaque fois. Notre tâche était de développer un algorithme et d'automatiser le processus dans lequel le client peut télécharger et traiter toutes les données "d'un seul bouton", ainsi qu'enrichir les données maîtres sur les produits et les acteurs du marché avec les catégories et valeurs utilisées dans l'entreprise.
-
Solution
Nous avons développé un pipeline automatique dans lequel les données sont automatiquement collectées à partir des sources requises, traitées et chargées dans le système d'enrichissement MD, et après enrichissement par l'utilisateur, vers le stockage final et de là vers PowerBI.
-
Technologie
La solution est construite sur l'utilisation des principales plateformes du client:
Traitement des données:
Informatica PowerCenter
Python
Commandes LinuxEnrichissement des données: SQL Server Master Data Services
Front End: PowerBI
Comment ça fonctionne ?
- bases de données cloud
- base de données sur site
- Fichiers Excel avec formatage "joli"
- fichiers csv
- traitement des fichiers Excel avec formatage
- conversion en *.csv
- Filtrage des données
- Chargement des données du schéma de mise en scène
- Agrégation des données au niveau du mois
- Remplissage des tables de faits intermédiaires
- Chargement des datamarts MD
- Transfert de données vers MDS
- Enrichissement MD par utilisateur
- Entrer les MD nécessaires pour les calculs : cours, unités. taux de conversion.
- Lancer la continuation du flux de données
- Calcul et chargement des datamarts à partir des tables de faits et des données utilisateur MDS
- Enregistrement du journal de téléchargement et des erreurs survenues avec les raisons
- Actualisation du jeu de données PowerBI