contáctenos

Pipeline CI/CD para plataforma de datos cloud

Despliegues automatizados y probados para una plataforma de datos cloud.

Bitbucket Pipelines para Cloud Composer, Dataflow y dbt, con pruebas unitarias y controles de calidad de datos en CI y entornos dev/prod automatizados.

NDA 2024

Alcance del pipeline

  1. 01Bitbucket PipelinesCI/CD para proyectos de Cloud Composer, Dataflow y dbt
  2. 02Pruebas en CILas pruebas unitarias y los controles de calidad de datos detienen el build antes de producción
  3. 03EntornosDespliegue automatizado en dev/prod desde ramas de funcionalidad

Documentación y formación del equipo incluidas.

Reto

Sin despliegues automatizados, sin pruebas en el flujo de despliegue y con configuración manual de los entornos de desarrollo.

Entregado

Un pipeline CI/CD en Bitbucket Pipelines para Cloud Composer, Dataflow y dbt, con pruebas en CI.

Hizo posible

Despliegues dev/prod automatizados, menos errores y una incorporación más rápida.

Reto

El equipo de ingeniería de datos del cliente se enfrentaba a tres problemas relacionados que se agravaban entre sí:

  • Sin despliegues automatizados para Cloud Composer / Dataflow y dbt: cada cambio se publicaba a mano
  • Sin pruebas unitarias ni controles de calidad de datos en el flujo de despliegue: las regresiones aparecían en producción
  • Configuración manual de los entornos de desarrollo: incorporación lenta y paridad dev/prod inconsistente

Esta combinación suponía iteraciones lentas, altas tasas de error y una deuda técnica creciente en la plataforma de datos.

Enfoque

Implantamos un pipeline CI/CD con Bitbucket Pipelines que cubre los proyectos de Cloud Composer, Dataflow y dbt. El pipeline integra pruebas unitarias y controles de calidad de datos en el flujo de CI: tanto el código defectuoso como los datos defectuosos hacen fallar el build antes de llegar a producción.

Estandarizamos la configuración de los entornos de desarrollo con despliegue automatizado en los entornos dev/prod desde ramas de funcionalidad. Unos procesos de pruebas con una configuración manual mínima redujeron la fricción en la incorporación y mantuvieron la coherencia de los entornos y de los procesos de publicación. Una documentación completa y la formación del equipo cerraron el círculo, de modo que el equipo de ingeniería puede ampliar el pipeline por sí mismo a medida que crece la plataforma.

La plataforma utilizaba Airflow en Cloud Composer para la orquestación, jobs de Dataflow desplegados desde plantillas en Google Cloud Storage para la ingesta, jobs de Python en máquinas virtuales de Google Compute Engine para el procesamiento, BigQuery como data warehouse y QlikSense para el reporting. Las transformaciones se estaban migrando a dbt. El proyecto se completó en el 4.º trimestre de 2024.

  1. 01

    Crear

    Un pipeline CI/CD en Bitbucket Pipelines que cubre los proyectos de Cloud Composer, Dataflow y dbt.

  2. 02

    Probar

    Pruebas unitarias y controles de calidad de datos integrados en el flujo de CI.

  3. 03

    Desplegar

    Despliegue automatizado en los entornos dev/prod desde ramas de funcionalidad.

  4. 04

    Traspasar

    Documentación y formación del equipo, para que este pueda ampliar el pipeline.

Resultados

Resultados cualitativos del proyecto; no se afirma ningún ahorro medido.

  • Despliegues totalmente automatizados: el esfuerzo manual se redujo drásticamente

  • Mayor calidad de los datos gracias a las pruebas unitarias y la validación integradas en CI

  • Configuración simplificada de los entornos de desarrollo: menos errores e incorporación más rápida

  • Mayor agilidad: iteración y despliegue más rápidos de los flujos de datos

  • Equipo de ingeniería capacitado, con documentación y formación, para mantener y ampliar el pipeline

  • Base para escalar la plataforma con seguridad

Bitbucket Pipelines Cloud Composer (Airflow) Dataflow dbt BigQuery Google Cloud Storage (plantillas de Dataflow) Python en máquinas virtuales de Compute Engine QlikSense

Áreas de solución: Fundamentos de datos

¿Tiene un reto similar?

Traiga un proceso de publicación de su plataforma de datos. Hablemos de cómo automatizar las pruebas y el despliegue.

Reserve una reunión de 30 min