• Objetivo

    El proyecto tenía como objetivo crear una plataforma unificada de análisis de datos integrando los conjuntos de datos de Nielsen e IQVIA. Esto permitió obtener conocimientos precisos y procesables sobre la cuota de mercado, el comportamiento del consumidor y los patrones de compra, asegurando al mismo tiempo la consistencia y fiabilidad de los datos.

  • Solución

    El Market Share Cockpit fue diseñado para procesar y analizar eficientemente los datos de venta. La solución aprovechó Azure Data Factory y Snowflake para la preparación, procesamiento y carga de datos, mientras que SQL Server Master Data Services se utilizó para el enriquecimiento de datos maestros. Las transformaciones jerárquicas avanzadas aseguraron la consistencia de los datos a través de múltiples niveles de agregación, permitiendo comparaciones fluidas entre la inteligencia de mercado externa y los informes ERP internos. Se implementaron verificaciones automáticas de calidad de datos, incluyendo análisis de KPI y monitoreo de frecuencia de valores, para mejorar la precisión y fiabilidad de los datos.

  • Resultado
    • Integración de Datos Robusta: Una plataforma única y unificada que consolida los datos de Nielsen e IQVIA.

    • Mejora en la Asignación de Datos Maestros: Mejor alineación de la inteligencia externa con las categorizaciones internas para una mejor toma de decisiones.

    • Adaptabilidad Automatizada: Ajuste dinámico a estructuras de datos en evolución para mantener la precisión continua.

    • Datos Jerárquicos Consistentes: Aseguró la alineación de los datos de ventas a través de múltiples niveles de agregación.

    • Garantía Integral de Calidad de Datos: Procesos integrados de validación y monitoreo para obtener conocimientos fiables.

  • Tecnología
    • Almacenamiento y Procesamiento en la Nube: Azure Data Lake, Snowflake

    • ETL e Integración de Datos: Azure Data Factory, SQL Server Master Data Services

    • Verificaciones de Calidad de Datos: Análisis automatizado de KPI, análisis de frecuencia de valores y paneles de monitoreo

    • Seguridad y Transferencia de Datos: SFTP seguro para datos de Nielsen, ingestión basada en principal de servicio para datos de IQVIA

¿Cómo funciona?

1
Fuentes de Datos
  • cloud databases
  • on-premise database
  • Archivos de Excel con formato "bonito"
  • archivos csv
2
Script de Python
  • procesamiento de archivos Excel con formato
  • conversión a *.csv
3
Pipeline de Linux
  • Filtrado de datos
4
Staging
  • Carga de datos del esquema de staging
5
Agregación / MDS
  • Agregación de datos a nivel mensual
  • Población de Tablas de Hechos Intermedias
  • Carga de datamarts MD
  • Transferencia de datos a MDS
6
MDS
  • Enriquecimiento MD por usuario
  • Ingresar MD requerido para cálculos: cursos, unidades. tasas de conversión.
  • Lanzar continuación del flujo de datos
7
Carga de DWH
  • Cálculo y carga de datamarts desde tablas de hechos y datos de usuario de MDS
  • Registro del log de descarga y los errores que ocurrieron con las razones
8
PowerBI
  • Actualización del conjunto de datos de PowerBI