contattateci

Pipeline CI/CD per piattaforma dati cloud

Rilasci automatizzati e testati per una piattaforma dati cloud.

Bitbucket Pipelines per Cloud Composer, Dataflow e dbt, con unit test e controlli di qualità dei dati nella CI e ambienti dev/prod automatizzati.

NDA 2024

IT e dati Interfunzionale Piattaforma affidabile e performante

Perimetro della pipeline

  1. 01Bitbucket PipelinesCI/CD per progetti Cloud Composer, Dataflow e dbt
  2. 02Test nella CIUnit test e controlli di qualità dei dati bloccano la build prima della produzione
  3. 03AmbientiRilascio automatizzato in dev/prod dai feature branch

Documentazione e formazione del team incluse.

Sfida

Nessun rilascio automatizzato, nessun test nel flusso di rilascio e configurazione manuale degli ambienti di sviluppo.

Realizzato

Una pipeline CI/CD in Bitbucket Pipelines per Cloud Composer, Dataflow e dbt, con test nella CI.

Ottenuto

Rilasci automatizzati in dev/prod, meno errori e onboarding più rapido.

Sfida

Il team di data engineering del cliente affrontava tre problemi collegati che si aggravavano a vicenda:

  • Nessun rilascio automatizzato per Cloud Composer / Dataflow e dbt: ogni modifica veniva rilasciata a mano
  • Nessun unit test né controllo di qualità dei dati nel flusso di rilascio: le regressioni emergevano in produzione
  • Configurazione manuale degli ambienti di sviluppo: onboarding lento, parità dev/prod incoerente

Il risultato: iterazioni lente, alti tassi di errore e un debito tecnico crescente nella piattaforma dati.

Approccio

Abbiamo implementato una pipeline CI/CD con Bitbucket Pipelines per i progetti Cloud Composer, Dataflow e dbt. La pipeline integra unit test e controlli di qualità dei dati nel flusso di CI: codice difettoso e dati difettosi bloccano entrambi la build prima di arrivare in produzione.

Abbiamo standardizzato la configurazione degli ambienti di sviluppo con il rilascio automatizzato negli ambienti dev/prod dai feature branch. Processi di test con un setup manuale minimo hanno ridotto gli attriti dell'onboarding e mantenuto coerenti ambienti e processi di rilascio. Una documentazione completa e la formazione del team hanno chiuso il cerchio: il team di engineering può estendere la pipeline in autonomia man mano che la piattaforma cresce.

La piattaforma usava Airflow in Cloud Composer per l'orchestrazione, job Dataflow rilasciati da template in Google Cloud Storage per l'ingestion, job Python su VM di Google Compute Engine per l'elaborazione, BigQuery come data warehouse e QlikSense per il reporting. Le trasformazioni erano in fase di migrazione a dbt. Il progetto è stato completato nel Q4 2024.

  1. 01

    Build

    Una pipeline CI/CD in Bitbucket Pipelines per i progetti Cloud Composer, Dataflow e dbt.

  2. 02

    Test

    Unit test e controlli di qualità dei dati integrati nel flusso di CI.

  3. 03

    Rilascio

    Rilascio automatizzato negli ambienti dev/prod dai feature branch.

  4. 04

    Consegna

    Documentazione e formazione, così il team può estendere la pipeline.

Risultati

Risultati qualitativi di progetto; non si dichiarano risparmi misurati.

  • Rilasci completamente automatizzati: lavoro manuale drasticamente ridotto

  • Migliore qualità dei dati grazie a unit test e validazione integrati nella CI

  • Configurazione semplificata degli ambienti di sviluppo: meno errori, onboarding più rapido

  • Maggiore agilità: iterazione e rilascio più rapidi dei workflow dati

  • Team di engineering reso autonomo, con documentazione e formazione, nel mantenere ed estendere la pipeline

  • Base per una crescita sicura e scalabile

Bitbucket Pipelines Cloud Composer (Airflow) Dataflow dbt BigQuery Google Cloud Storage (template Dataflow) Python su VM Compute Engine QlikSense

Aree di soluzione: Fondamenta dei dati

Avete una sfida simile?

Portate un processo di rilascio della piattaforma dati. Parliamo di come automatizzare test e rilasci.

Prenotate un incontro di 30 min