contactez-nous

Pipeline CI/CD pour plateforme data cloud

Des déploiements automatisés et testés pour une plateforme de données cloud.

Bitbucket Pipelines pour Cloud Composer, Dataflow et dbt, avec tests unitaires et contrôles de qualité des données dans la CI, et des environnements dev/prod automatisés.

NDA 2024

Périmètre

  1. 01Bitbucket PipelinesCI/CD pour les projets Cloud Composer, Dataflow et dbt
  2. 02Tests dans la CILes tests unitaires et les contrôles de qualité des données font échouer le build avant la production
  3. 03EnvironnementsDéploiement automatisé en dev/prod à partir des branches de fonctionnalité

Documentation et formation d'équipe incluses.

Défi

Aucun déploiement automatisé, aucun test dans le flux de déploiement et une configuration manuelle des environnements de développement.

Livré

Un pipeline CI/CD dans Bitbucket Pipelines pour Cloud Composer, Dataflow et dbt, avec des tests dans la CI.

Gains

Des déploiements dev/prod automatisés, moins d'erreurs et une intégration plus rapide des nouveaux arrivants.

Défi

L'équipe data engineering du client faisait face à trois problèmes liés qui s'aggravaient mutuellement :

  • Aucun déploiement automatisé pour Cloud Composer / Dataflow et dbt : chaque changement était livré à la main
  • Aucun test unitaire ni contrôle de qualité des données dans le flux de déploiement : les régressions apparaissaient en production
  • Configuration manuelle des environnements de développement : intégration lente des nouveaux arrivants, parité dev/prod inégale

Résultat : des itérations lentes, des taux d'erreur élevés et une dette technique croissante sur la plateforme de données.

Approche

Nous avons mis en place un pipeline CI/CD avec Bitbucket Pipelines pour les projets Cloud Composer, Dataflow et dbt. Le pipeline intègre les tests unitaires et les contrôles de qualité des données au flux de CI : un code défectueux comme des données défectueuses font échouer le build avant d'atteindre la production.

Nous avons standardisé la configuration des environnements de développement, avec un déploiement automatisé vers les environnements dev/prod à partir des branches de fonctionnalité. Des processus de test à configuration manuelle minimale ont facilité l'intégration des nouveaux arrivants et maintenu la cohérence des environnements et des processus de mise en production. Une documentation complète et la formation de l'équipe ont bouclé la boucle : l'équipe d'ingénierie peut étendre elle-même le pipeline à mesure que la plateforme grandit.

La plateforme utilisait Airflow dans Cloud Composer pour l'orchestration, des jobs Dataflow déployés à partir de modèles stockés dans Google Cloud Storage pour l'ingestion, des jobs Python sur des VM Google Compute Engine pour le traitement, BigQuery comme entrepôt de données et QlikSense pour le reporting. Les transformations étaient en cours de migration vers dbt. Le projet s'est achevé au 4e trimestre 2024.

  1. 01

    Créer

    Un pipeline CI/CD dans Bitbucket Pipelines pour les projets Cloud Composer, Dataflow et dbt.

  2. 02

    Tester

    Tests unitaires et contrôles de qualité des données intégrés au flux de CI.

  3. 03

    Déployer

    Déploiement automatisé vers les environnements dev/prod à partir des branches de fonctionnalité.

  4. 04

    Transmettre

    Documentation et formation de l'équipe, pour qu'elle puisse étendre le pipeline.

Résultats

Résultats qualitatifs du projet ; aucune économie mesurée n'est avancée.

  • Des déploiements entièrement automatisés : un effort manuel fortement réduit

  • Une meilleure qualité des données grâce aux tests unitaires et à la validation intégrés à la CI

  • Une configuration simplifiée des environnements de développement : moins d'erreurs, une intégration plus rapide

  • Plus d'agilité : des itérations et des déploiements de workflows de données plus rapides

  • Une équipe d'ingénierie autonome, documentée et formée pour maintenir et étendre le pipeline

  • Socle d'une croissance sûre de la plateforme

Bitbucket Pipelines Cloud Composer (Airflow) Dataflow dbt BigQuery Google Cloud Storage (modèles Dataflow) Python sur VM Compute Engine QlikSense

Solutions : Fondations de données

Un défi similaire ?

Venez avec le processus de mise en production d'une plateforme de données. Voyons comment automatiser les tests et le déploiement.

Réservez un échange de 30 min