Kontakt

CI/CD-Pipeline für Cloud-Datenplattform

Automatisierte, getestete Deployments für eine Cloud-Datenplattform.

Bitbucket Pipelines für Cloud Composer, Dataflow und dbt – mit Unit-Tests und Datenqualitätsprüfungen in der CI und automatisierten Dev/Prod-Umgebungen.

NDA 2024

IT & Daten Übergreifend Plattformstabilität & Performance

Pipeline-Umfang

  1. 01Bitbucket PipelinesCI/CD für Cloud-Composer-, Dataflow- und dbt-Projekte
  2. 02Tests in der CIUnit-Tests und Datenqualitätsprüfungen lassen den Build vor der Produktion fehlschlagen
  3. 03UmgebungenAutomatisiertes Deployment nach Dev/Prod aus Feature-Branches

Dokumentation und Teamschulung inklusive.

Ausgangslage

Keine automatisierten Deployments, keine Tests im Deployment-Ablauf und manuelle Einrichtung der Entwicklungsumgebungen.

Umgesetzt

Eine CI/CD-Pipeline in Bitbucket Pipelines für Cloud Composer, Dataflow und dbt, mit Tests in der CI.

Wirkung

Automatisierte Dev/Prod-Deployments, weniger Fehler und schnelleres Onboarding.

Ausgangslage

Das Data-Engineering-Team des Kunden stand vor drei zusammenhängenden Problemen, die sich gegenseitig verstärkten:

  • Keine automatisierten Deployments für Cloud Composer / Dataflow und dbt – jede Änderung wurde von Hand ausgeliefert
  • Keine Unit-Tests oder Datenqualitätsprüfungen im Deployment-Ablauf – Regressionen zeigten sich erst in der Produktion
  • Manuelle Einrichtung der Entwicklungsumgebungen – langsames Onboarding, uneinheitliche Dev/Prod-Parität

Zusammen bedeutete das langsame Iterationen, hohe Fehlerquoten und wachsende technische Schulden in der Datenplattform.

Ansatz

Wir haben eine CI/CD-Pipeline mit Bitbucket Pipelines für Cloud-Composer-, Dataflow- und dbt-Projekte umgesetzt. Die Pipeline integriert Unit-Tests und Datenqualitätsprüfungen in den CI-Ablauf – fehlerhafter Code und fehlerhafte Daten lassen den Build fehlschlagen, bevor sie die Produktion erreichen.

Wir haben die Einrichtung der Entwicklungsumgebungen standardisiert – mit automatisiertem Deployment in Dev/Prod-Umgebungen aus Feature-Branches. Testprozesse mit minimalem manuellem Einrichtungsaufwand verringerten die Reibung beim Onboarding und hielten Umgebungen und Release-Prozesse konsistent. Umfassende Dokumentation und Teamschulung rundeten das Projekt ab, sodass das Engineering-Team die Pipeline selbst erweitern kann, wenn die Plattform wächst.

Die Plattform nutzte Airflow in Cloud Composer für die Orchestrierung, Dataflow-Jobs aus Templates in Google Cloud Storage für die Ingestion, Python-Jobs auf VMs der Google Compute Engine für die Verarbeitung, BigQuery als Data Warehouse und QlikSense für das Reporting. Die Transformationen wurden gerade nach dbt migriert. Das Projekt wurde in Q4 2024 abgeschlossen.

  1. 01

    Build

    Eine CI/CD-Pipeline in Bitbucket Pipelines für Cloud-Composer-, Dataflow- und dbt-Projekte.

  2. 02

    Test

    Unit-Tests und Datenqualitätsprüfungen, in den CI-Ablauf integriert.

  3. 03

    Deploy

    Automatisiertes Deployment in Dev/Prod-Umgebungen aus Feature-Branches.

  4. 04

    Übergabe

    Dokumentation und Teamschulung, damit das Team die Pipeline erweitern kann.

Ergebnisse

Qualitative Projektergebnisse; es werden keine gemessenen Einsparungen behauptet.

  • Vollständig automatisierte Deployments – manueller Aufwand drastisch reduziert

  • Höhere Datenqualität durch integrierte Unit-Tests und Validierung in der CI

  • Vereinfachte Einrichtung der Entwicklungsumgebung – weniger Fehler, schnelleres Onboarding

  • Mehr Agilität – schnellere Iteration und schnelleres Deployment von Daten-Workflows

  • Engineering-Team durch Dokumentation und Schulung befähigt, die Pipeline zu pflegen und zu erweitern

  • Basis für sicheres, skalierbares Plattformwachstum

Bitbucket Pipelines Cloud Composer (Airflow) Dataflow dbt BigQuery Google Cloud Storage (Dataflow-Templates) Python auf Compute-Engine-VMs QlikSense

Lösungsbereiche: Datenfundament

Ähnliche Herausforderung?

Bringen Sie einen Release-Prozess Ihrer Datenplattform mit. Besprechen Sie mit uns, wie sich Tests und Deployment automatisieren lassen.

30-Minuten-Gespräch buchen