• Client
    Les employés du département Marketing et Innovation de Nutricia Pays-Bas analysent constamment le marché et la place de l'entreprise dans celui-ci. Ils recherchent des niches pour de nouveaux produits et des opportunités d'élargir la présence des produits existants.
  • Objectif

    Les données de marché proviennent de différentes sources, avec des fréquences et des niveaux de détail variés. Pour effectuer une analyse de part de marché et d'autres indicateurs, les employés doivent collecter ces données à partir de différentes sources à chaque fois. Notre tâche était de développer un algorithme et d'automatiser le processus dans lequel le client peut télécharger et traiter toutes les données "d'un seul bouton", ainsi qu'enrichir les données maîtres sur les produits et les acteurs du marché avec les catégories et valeurs utilisées dans l'entreprise.

  • Solution
    Nous avons développé un pipeline automatique dans lequel les données sont automatiquement collectées à partir des sources requises, traitées et chargées dans le système d'enrichissement MD, et après enrichissement par l'utilisateur, vers le stockage final et de là vers PowerBI.
  • Technologie

    La solution est construite sur l'utilisation des principales plateformes du client:

    Traitement des données:

         Informatica PowerCenter
         Python
         Commandes Linux

    Enrichissement des données: SQL Server Master Data Services

    Front End: PowerBI

Comment ça fonctionne ?

1
Sources de données
  • bases de données cloud
  • base de données sur site
  • Fichiers Excel avec formatage "joli"
  • fichiers csv
2
Script Python
  • traitement des fichiers Excel avec formatage
  • conversion en *.csv
3
Pipeline Linux
  • Filtrage des données
4
Mise en scène
  • Chargement des données du schéma de mise en scène
5
Agrégation / MDS
  • Agrégation des données au niveau du mois
  • Remplissage des tables de faits intermédiaires
  • Chargement des datamarts MD
  • Transfert de données vers MDS
6
MDS
  • Enrichissement MD par utilisateur
  • Entrer les MD nécessaires pour les calculs : cours, unités. taux de conversion.
  • Lancer la continuation du flux de données
7
Chargement DWH
  • Calcul et chargement des datamarts à partir des tables de faits et des données utilisateur MDS
  • Enregistrement du journal de téléchargement et des erreurs survenues avec les raisons
8
PowerBI
  • Actualisation du jeu de données PowerBI