neem contact op

CI/CD-pipeline voor clouddataplatform

Geautomatiseerde, geteste deployments voor een clouddataplatform.

Bitbucket Pipelines voor Cloud Composer, Dataflow en dbt, met unit tests en datakwaliteitscontroles in CI en geautomatiseerde dev/prod-omgevingen.

NDA 2024

IT & data Crossfunctioneel Platformbetrouwbaarheid & -prestaties

Pipelinescope

  1. 01Bitbucket PipelinesCI/CD voor Cloud Composer-, Dataflow- en dbt-projecten
  2. 02Tests in CIUnit tests en datakwaliteitscontroles laten de build falen vóór productie
  3. 03OmgevingenGeautomatiseerde deployment naar dev/prod vanuit feature branches

Inclusief documentatie en teamtraining.

Uitdaging

Geen geautomatiseerde deployments, geen tests in de deploymentflow en handmatige inrichting van ontwikkelomgevingen.

Opgeleverd

Een CI/CD-pipeline in Bitbucket Pipelines voor Cloud Composer, Dataflow en dbt, met tests in CI.

Effect

Geautomatiseerde dev/prod-deployments, minder fouten en snellere onboarding.

Uitdaging

Het data engineering-team van de klant had drie samenhangende problemen die elkaar versterkten:

  • Geen geautomatiseerde deployments voor Cloud Composer / Dataflow en dbt - elke wijziging ging met de hand live
  • Geen unit tests of datakwaliteitscontroles in de deploymentflow - regressies kwamen pas in productie aan het licht
  • Handmatige inrichting van ontwikkelomgevingen - trage onboarding, ongelijke dev- en prod-omgevingen

Samen betekende dat trage iteraties, veel fouten en groeiende technische schuld in het dataplatform.

Aanpak

We implementeerden een CI/CD-pipeline met Bitbucket Pipelines voor Cloud Composer-, Dataflow- en dbt-projecten. De pipeline integreert unit tests en datakwaliteitscontroles in de CI-flow - zowel kapotte code als kapotte data laten de build falen voordat ze productie bereiken.

We standaardiseerden de inrichting van ontwikkelomgevingen met geautomatiseerde deployment naar dev/prod-omgevingen vanuit feature branches. Testprocessen met minimale handmatige inrichting maakten onboarding eenvoudiger en hielden omgevingen en releaseprocessen consistent. Uitgebreide documentatie en teamtraining maakten het geheel af, zodat het engineeringteam de pipeline zelf kan uitbreiden naarmate het platform groeit.

Het platform draaide Airflow in Cloud Composer voor orkestratie, Dataflow-jobs uitgerold vanuit templates in Google Cloud Storage voor ingestie, Python-jobs op Google Compute Engine-VM's voor verwerking, BigQuery als datawarehouse en QlikSense voor rapportage. Transformaties werden gemigreerd naar dbt. Het project is afgerond in Q4 2024.

  1. 01

    Build

    Een CI/CD-pipeline in Bitbucket Pipelines voor Cloud Composer-, Dataflow- en dbt-projecten.

  2. 02

    Test

    Unit tests en datakwaliteitscontroles geïntegreerd in de CI-flow.

  3. 03

    Deploy

    Geautomatiseerde deployment naar dev/prod-omgevingen vanuit feature branches.

  4. 04

    Overdracht

    Documentatie en teamtraining, zodat het team de pipeline kan uitbreiden.

Resultaten

Kwalitatieve projectresultaten; er worden geen gemeten besparingen geclaimd.

  • Volledig geautomatiseerde deployments - handmatig werk sterk verminderd

  • Betere datakwaliteit door geïntegreerde unit tests en validatie in CI

  • Gestroomlijnde inrichting van ontwikkelomgevingen - minder fouten, snellere onboarding

  • Meer wendbaarheid - snellere iteratie en deployment van dataworkflows

  • Engineeringteam met documentatie en training in staat gesteld de pipeline te onderhouden en uit te breiden

  • Basis voor veilige, schaalbare platformgroei

Bitbucket Pipelines Cloud Composer (Airflow) Dataflow dbt BigQuery Google Cloud Storage (Dataflow-templates) Python op Compute Engine-VM's QlikSense

Oplossingsgebieden: Datafundament

Een vergelijkbare uitdaging?

Kom met één releaseproces van uw dataplatform. Bespreek hoe u testen en deployment automatiseert.

Plan een gesprek van 30 min