Reto
Sin despliegues automatizados, sin pruebas en el flujo de despliegue y con configuración manual de los entornos de desarrollo.
Despliegues automatizados y probados para una plataforma de datos cloud.
Bitbucket Pipelines para Cloud Composer, Dataflow y dbt, con pruebas unitarias y controles de calidad de datos en CI y entornos dev/prod automatizados.
Alcance del pipeline
Documentación y formación del equipo incluidas.
Reto
Sin despliegues automatizados, sin pruebas en el flujo de despliegue y con configuración manual de los entornos de desarrollo.
Entregado
Un pipeline CI/CD en Bitbucket Pipelines para Cloud Composer, Dataflow y dbt, con pruebas en CI.
Hizo posible
Despliegues dev/prod automatizados, menos errores y una incorporación más rápida.
El equipo de ingeniería de datos del cliente se enfrentaba a tres problemas relacionados que se agravaban entre sí:
Esta combinación suponía iteraciones lentas, altas tasas de error y una deuda técnica creciente en la plataforma de datos.
Implantamos un pipeline CI/CD con Bitbucket Pipelines que cubre los proyectos de Cloud Composer, Dataflow y dbt. El pipeline integra pruebas unitarias y controles de calidad de datos en el flujo de CI: tanto el código defectuoso como los datos defectuosos hacen fallar el build antes de llegar a producción.
Estandarizamos la configuración de los entornos de desarrollo con despliegue automatizado en los entornos dev/prod desde ramas de funcionalidad. Unos procesos de pruebas con una configuración manual mínima redujeron la fricción en la incorporación y mantuvieron la coherencia de los entornos y de los procesos de publicación. Una documentación completa y la formación del equipo cerraron el círculo, de modo que el equipo de ingeniería puede ampliar el pipeline por sí mismo a medida que crece la plataforma.
La plataforma utilizaba Airflow en Cloud Composer para la orquestación, jobs de Dataflow desplegados desde plantillas en Google Cloud Storage para la ingesta, jobs de Python en máquinas virtuales de Google Compute Engine para el procesamiento, BigQuery como data warehouse y QlikSense para el reporting. Las transformaciones se estaban migrando a dbt. El proyecto se completó en el 4.º trimestre de 2024.
Un pipeline CI/CD en Bitbucket Pipelines que cubre los proyectos de Cloud Composer, Dataflow y dbt.
Pruebas unitarias y controles de calidad de datos integrados en el flujo de CI.
Despliegue automatizado en los entornos dev/prod desde ramas de funcionalidad.
Documentación y formación del equipo, para que este pueda ampliar el pipeline.
Flujo conceptual de CI/CD basado en el alcance del proyecto; no es la arquitectura exacta del sistema del cliente.

Resultados cualitativos del proyecto; no se afirma ningún ahorro medido.
Despliegues totalmente automatizados: el esfuerzo manual se redujo drásticamente
Mayor calidad de los datos gracias a las pruebas unitarias y la validación integradas en CI
Configuración simplificada de los entornos de desarrollo: menos errores e incorporación más rápida
Mayor agilidad: iteración y despliegue más rápidos de los flujos de datos
Equipo de ingeniería capacitado, con documentación y formación, para mantener y ampliar el pipeline
Base para escalar la plataforma con seguridad
Áreas de solución: Fundamentos de datos
Elija una conversación de 30 minutos o envíenos una breve consulta, lo que le resulte más cómodo.