• Objectif

    Le projet visait à créer une plateforme d'analyse de données unifiée en intégrant les ensembles de données Nielsen et IQVIA. Cela a permis d'obtenir des informations précises et exploitables sur la part de marché, le comportement des consommateurs et les tendances d'achat tout en garantissant la cohérence et la fiabilité des données.

  • Solution

    Le Cockpit de Part de Marché a été conçu pour traiter et analyser efficacement les données de vente. La solution a tiré parti d'Azure Data Factory et de Snowflake pour la mise en scène, le traitement et le chargement des données, tandis que SQL Server Master Data Services a été utilisé pour l'enrichissement des données maîtres. Des transformations hiérarchiques avancées ont assuré la cohérence des données à travers plusieurs niveaux d'agrégation, permettant des comparaisons fluides entre l'intelligence de marché externe et les rapports ERP internes. Des contrôles automatisés de la qualité des données, y compris l'analyse des KPI et le suivi de la fréquence des valeurs, ont été mis en œuvre pour améliorer la précision et la fiabilité des données.

  • Résultat
    • Intégration de Données Robuste: Une plateforme unique et unifiée consolidant les données Nielsen et IQVIA.

    • Amélioration de la Cartographie des Données Maîtres: Meilleur alignement de l'intelligence externe avec les catégorisations internes pour une meilleure prise de décision.

    • Adaptabilité Automatisée: Ajustement dynamique aux structures de données évolutives pour une précision continue.

    • Données Hiérarchiques Cohérentes: Assuré l'alignement des données de vente à travers plusieurs niveaux d'agrégation.

    • Assurance Qualité des Données Complète: Processus intégrés de validation et de suivi pour des informations fiables.

  • Technologie
    • Stockage & Traitement Cloud: Azure Data Lake, Snowflake

    • ETL & Intégration de Données: Azure Data Factory, SQL Server Master Data Services

    • Contrôles de Qualité des Données: Analyse automatisée des KPI, analyse de la fréquence des valeurs, et tableaux de bord de suivi

    • Sécurité & Transfert de Données: SFTP sécurisé pour les données Nielsen, ingestion basée sur le principal de service pour les données IQVIA

Comment ça fonctionne ?

1
Sources de données
  • bases de données cloud
  • base de données sur site
  • Fichiers Excel avec formatage "joli"
  • fichiers csv
2
Script Python
  • traitement des fichiers Excel avec formatage
  • conversion en *.csv
3
Pipeline Linux
  • Filtrage des données
4
Mise en scène
  • Chargement des données du schéma de mise en scène
5
Agrégation / MDS
  • Agrégation des données au niveau du mois
  • Remplissage des tables de faits intermédiaires
  • Chargement des datamarts MD
  • Transfert de données vers MDS
6
MDS
  • Enrichissement MD par utilisateur
  • Entrer les MD nécessaires pour les calculs : cours, unités, taux de conversion.
  • Lancer la continuation du flux de données
7
Chargement DWH
  • Calcul et chargement des datamarts à partir des tables de faits et des données utilisateur MDS
  • Enregistrement du journal de téléchargement et des erreurs survenues avec les raisons
8
PowerBI
  • Actualisation du jeu de données PowerBI