Sfida
Nessun rilascio automatizzato, nessun test nel flusso di rilascio e configurazione manuale degli ambienti di sviluppo.
Rilasci automatizzati e testati per una piattaforma dati cloud.
Bitbucket Pipelines per Cloud Composer, Dataflow e dbt, con unit test e controlli di qualità dei dati nella CI e ambienti dev/prod automatizzati.
Perimetro della pipeline
Documentazione e formazione del team incluse.
Sfida
Nessun rilascio automatizzato, nessun test nel flusso di rilascio e configurazione manuale degli ambienti di sviluppo.
Realizzato
Una pipeline CI/CD in Bitbucket Pipelines per Cloud Composer, Dataflow e dbt, con test nella CI.
Ottenuto
Rilasci automatizzati in dev/prod, meno errori e onboarding più rapido.
Il team di data engineering del cliente affrontava tre problemi collegati che si aggravavano a vicenda:
Il risultato: iterazioni lente, alti tassi di errore e un debito tecnico crescente nella piattaforma dati.
Abbiamo implementato una pipeline CI/CD con Bitbucket Pipelines per i progetti Cloud Composer, Dataflow e dbt. La pipeline integra unit test e controlli di qualità dei dati nel flusso di CI: codice difettoso e dati difettosi bloccano entrambi la build prima di arrivare in produzione.
Abbiamo standardizzato la configurazione degli ambienti di sviluppo con il rilascio automatizzato negli ambienti dev/prod dai feature branch. Processi di test con un setup manuale minimo hanno ridotto gli attriti dell'onboarding e mantenuto coerenti ambienti e processi di rilascio. Una documentazione completa e la formazione del team hanno chiuso il cerchio: il team di engineering può estendere la pipeline in autonomia man mano che la piattaforma cresce.
La piattaforma usava Airflow in Cloud Composer per l'orchestrazione, job Dataflow rilasciati da template in Google Cloud Storage per l'ingestion, job Python su VM di Google Compute Engine per l'elaborazione, BigQuery come data warehouse e QlikSense per il reporting. Le trasformazioni erano in fase di migrazione a dbt. Il progetto è stato completato nel Q4 2024.
Una pipeline CI/CD in Bitbucket Pipelines per i progetti Cloud Composer, Dataflow e dbt.
Unit test e controlli di qualità dei dati integrati nel flusso di CI.
Rilascio automatizzato negli ambienti dev/prod dai feature branch.
Documentazione e formazione, così il team può estendere la pipeline.
Workflow CI/CD concettuale basato sul perimetro del progetto, non l'esatta architettura di sistema del cliente.

Risultati qualitativi di progetto; non si dichiarano risparmi misurati.
Rilasci completamente automatizzati: lavoro manuale drasticamente ridotto
Migliore qualità dei dati grazie a unit test e validazione integrati nella CI
Configurazione semplificata degli ambienti di sviluppo: meno errori, onboarding più rapido
Maggiore agilità: iterazione e rilascio più rapidi dei workflow dati
Team di engineering reso autonomo, con documentazione e formazione, nel mantenere ed estendere la pipeline
Base per una crescita sicura e scalabile
Aree di soluzione: Fondamenta dei dati
Scegliete una conversazione di 30 minuti o inviateci una breve richiesta: come preferite.