Kontakt

GfK-Daten-Ingestion via SAML

Automatisierter Abruf von GfK-Daten hinter einem SAML-geschützten Login.

SAML-Login mit Zugangsdaten aus Azure Key Vault, automatische Dateierkennung und Databricks-Ingestion neuer Dateien in den Azure Data Lake.

NDA 2024

Vertrieb & Marketing FMCG Konnektor-/Integrations-Acceleratoren
Konzeptionelles Diagramm der Ingestion von GfK-Marktdaten mit SAML-Authentifizierung, automatisierter Dateierkennung, Databricks und Azure Data Lake; kein Kunden-Screenshot.
Konzeptionelle Illustration des Ingestion-Ablaufs – kein Screenshot des Kundensystems. Bild in voller Größe öffnen

Ausgangslage

GfK-Daten mussten manuell von einer Website mit SAML-föderiertem Login heruntergeladen werden.

Umgesetzt

Ein vollständig automatisierter Workflow für SAML-Login, Dateierkennung und Ingestion.

Wirkung

Neue GfK-Dateien landen ohne manuelle Schritte und ohne Secrets im Code im Azure Data Lake.

Ausgangslage

GfK, ein führendes Marktforschungsunternehmen, liefert wichtige Konsumgüterdaten – der Zugriff erforderte jedoch manuelle Downloads über eine Website, deren Login-Ablauf per SAML-Föderation geschützt ist. Diese Daten zu beschaffen und in eine moderne Analytics-Schicht zu integrieren, war umständlich und fehleranfällig, und der manuelle Schritt blockierte jeden Automatisierungsversuch.

Ansatz

Wir haben einen vollständig automatisierten Workflow gebaut, der SAML-Login, Dateierkennung und Ingestion durchgängig abdeckt. Für die Authentifizierung steuert die Python-Bibliothek Mechanize den Login-Ablauf der GfK Federation programmatisch; die Zugangsdaten werden zur Laufzeit aus Azure Key Vault abgerufen – Secrets liegen nie in Code oder Konfigurationsdateien.

Nach der Authentifizierung durchsucht das System mit BeautifulSoup das Portal GfK Connect und extrahiert die Liste der verfügbaren Datendateien automatisch – die manuelle Suche entfällt. Ein Databricks Compute Cluster orchestriert anschließend die Ingestion: Er filtert bereits verarbeitete Dateien heraus und überträgt nur neue Daten in den Azure Data Lake – effizient, skalierbar und idempotent.

  1. 01

    Anmelden

    Mechanize (Python) steuert den Login-Ablauf der GfK Federation; die Zugangsdaten werden zur Laufzeit aus Azure Key Vault abgerufen.

  2. 02

    Finden

    BeautifulSoup durchsucht das Portal GfK Connect und extrahiert die Liste der verfügbaren Datendateien.

  3. 03

    Laden

    Ein Databricks Compute Cluster filtert bereits verarbeitete Dateien heraus und überträgt nur neue Daten in den Azure Data Lake.

Ergebnisse

Qualitative Projektergebnisse; es werden keine gemessenen Einsparungen behauptet.

  • Vollständig automatisierter und sicherer Datenabruf – der manuelle Download-Schritt entfällt

  • Nahtlose Integration mit Azure-Cloud-Speicher und nachgelagerter Verarbeitung

  • Mehr Sicherheit: Zugangsdaten werden über Azure Key Vault verwaltet, nie im Quellcode

  • Skalierbare Architektur, die mit wachsenden Datenmengen und zusätzlichen GfK-Feeds mitwächst

  • Reproduzierbares Muster, wiederverwendbar für jede SAML-geschützte Datenquelle

SAML-Authentifizierung Python (Mechanize, BeautifulSoup) Azure Key Vault Databricks Azure Data Lake

Lösungsbereiche: Datenfundament

Ähnliche Herausforderung?

Bringen Sie einen Datenanbieter hinter einem Web-Login mit. Besprechen Sie mit uns, wie sich der Abruf sicher automatisieren lässt.

30-Minuten-Gespräch buchen