contattateci

Ingestion dati GfK via SAML

Recupero automatizzato dei dati GfK dietro un login protetto da SAML.

Login SAML con credenziali da Azure Key Vault, discovery automatica dei file e ingestion dei nuovi file in Azure Data Lake con Databricks.

NDA 2024

Schema concettuale dell'ingestion dei dati di mercato GfK con autenticazione SAML, discovery automatica dei file, Databricks e Azure Data Lake; non è uno screenshot del cliente.
Illustrazione concettuale del flusso di ingestion, non uno screenshot del sistema del cliente. Apri l'immagine intera

Sfida

I dati GfK dovevano essere scaricati manualmente da un sito web con login federato SAML.

Realizzato

Un flusso completamente automatizzato per login SAML, discovery dei file e ingestion.

Ottenuto

I nuovi file GfK arrivano in Azure Data Lake senza passaggi manuali né secret nel codice.

Sfida

GfK, tra le principali società di ricerche di mercato, fornisce dati fondamentali sui beni di consumo, ma per accedervi occorrevano download manuali da un sito web, con un flusso di login protetto da federazione SAML. Reperire questi dati e integrarli in un moderno layer di analytics era macchinoso e soggetto a errori, e il passaggio manuale bloccava ogni tentativo di automazione.

Approccio

Abbiamo costruito un flusso completamente automatizzato che gestisce end-to-end login SAML, discovery dei file e ingestion. L'autenticazione usa la libreria Python Mechanize per eseguire in modo programmatico il flusso di login della GfK Federation, con credenziali recuperate a runtime da Azure Key Vault: i secret non risiedono mai nel codice o nei file di configurazione.

Dopo l'autenticazione, il sistema usa BeautifulSoup per analizzare il portale GfK Connect ed estrarre automaticamente l'elenco dei file di dati disponibili, eliminando la ricerca manuale. Un Databricks Compute Cluster orchestra poi l'ingestion: esclude i file già elaborati e trasferisce solo i nuovi dati in Azure Data Lake, in modo efficiente, scalabile e idempotente.

  1. 01

    Autenticazione

    Mechanize di Python esegue il flusso di login della GfK Federation, con credenziali recuperate a runtime da Azure Key Vault.

  2. 02

    Discovery

    BeautifulSoup analizza il portale GfK Connect ed estrae l'elenco dei file di dati disponibili.

  3. 03

    Ingestion

    Un Databricks Compute Cluster esclude i file già elaborati e trasferisce solo i nuovi dati in Azure Data Lake.

Risultati

Risultati qualitativi di progetto; non si dichiarano risparmi misurati.

  • Recupero dei dati completamente automatizzato e sicuro, senza più download manuali

  • Integrazione fluida con lo storage cloud Azure e con l'elaborazione a valle

  • Maggiore sicurezza: credenziali gestite tramite Azure Key Vault, mai nel codice sorgente

  • Architettura scalabile che si adatta a volumi di dati crescenti e a ulteriori feed GfK

  • Pattern riproducibile e riutilizzabile per qualsiasi fonte di dati protetta da SAML

Autenticazione SAML Python (Mechanize, BeautifulSoup) Azure Key Vault Databricks Azure Data Lake

Aree di soluzione: Fondamenta dei dati

Avete una sfida simile?

Portate un fornitore di dati accessibile solo tramite login web. Parliamo di come automatizzarne il recupero in sicurezza.

Prenotate un incontro di 30 min