contáctenos

Ingesta de datos GfK vía SAML

Obtención automatizada de datos de GfK tras un inicio de sesión protegido con SAML.

Inicio de sesión SAML con credenciales de Azure Key Vault, descubrimiento automático de archivos e ingesta con Databricks de los archivos nuevos en Azure Data Lake.

NDA 2024

Diagrama conceptual de la ingesta de datos de mercado de GfK con autenticación SAML, descubrimiento automatizado de archivos, Databricks y Azure Data Lake; no es una captura de un cliente.
Ilustración conceptual del flujo de ingesta; no es una captura del sistema del cliente. Abrir imagen completa

Reto

Los datos de GfK debían descargarse manualmente desde un sitio web con inicio de sesión federado mediante SAML.

Entregado

Un flujo totalmente automatizado para el inicio de sesión SAML, el descubrimiento de archivos y la ingesta.

Hizo posible

Los nuevos archivos de GfK llegan a Azure Data Lake sin pasos manuales ni secretos en el código.

Reto

GfK, una empresa líder en investigación de mercados, proporciona datos críticos sobre bienes de consumo, pero acceder a ellos exigía descargas manuales a través de un sitio web cuyo inicio de sesión estaba protegido por federación SAML. Obtener esos datos e integrarlos en una capa analítica moderna resultaba engorroso y propenso a errores, y el paso manual bloqueaba cualquier intento de automatización.

Enfoque

Construimos un flujo totalmente automatizado que gestiona de principio a fin el inicio de sesión SAML, el descubrimiento de archivos y la ingesta. La autenticación utiliza la biblioteca Mechanize de Python para ejecutar de forma programática el flujo de inicio de sesión de GfK Federation, con credenciales recuperadas en tiempo de ejecución desde Azure Key Vault: los secretos nunca residen en el código ni en archivos de configuración.

Una vez autenticado, el sistema utiliza BeautifulSoup para recorrer el portal GfK Connect y extraer automáticamente la lista de archivos de datos disponibles, lo que elimina la búsqueda manual. A continuación, un clúster de cómputo de Databricks orquesta la ingesta: descarta los archivos ya procesados y transfiere solo los datos nuevos a Azure Data Lake, de forma eficiente, escalable e idempotente.

  1. 01

    Autenticar

    Mechanize de Python ejecuta el flujo de inicio de sesión de GfK Federation, con credenciales recuperadas en tiempo de ejecución desde Azure Key Vault.

  2. 02

    Descubrir

    BeautifulSoup recorre el portal GfK Connect y extrae la lista de archivos de datos disponibles.

  3. 03

    Ingerir

    Un clúster de cómputo de Databricks descarta los archivos ya procesados y transfiere solo los datos nuevos a Azure Data Lake.

Resultados

Resultados cualitativos del proyecto; no se afirma ningún ahorro medido.

  • Obtención de datos totalmente automatizada y segura, que elimina el paso de descarga manual

  • Integración fluida con el almacenamiento en la nube de Azure y con el procesamiento posterior

  • Mayor seguridad: credenciales gestionadas con Azure Key Vault, nunca en el código fuente

  • Arquitectura escalable que se adapta a volúmenes de datos crecientes y a nuevos feeds de GfK

  • Patrón reproducible y reutilizable para cualquier fuente de datos protegida con SAML

Autenticación SAML Python (Mechanize, BeautifulSoup) Azure Key Vault Databricks Azure Data Lake

Áreas de solución: Fundamentos de datos

¿Tiene un reto similar?

Traiga un proveedor de datos al que se accede mediante un inicio de sesión web. Hablemos de cómo automatizar la obtención de forma segura.

Reserve una reunión de 30 min