Défi
Aucun déploiement automatisé, aucun test dans le flux de déploiement et une configuration manuelle des environnements de développement.
Des déploiements automatisés et testés pour une plateforme de données cloud.
Bitbucket Pipelines pour Cloud Composer, Dataflow et dbt, avec tests unitaires et contrôles de qualité des données dans la CI, et des environnements dev/prod automatisés.
Périmètre
Documentation et formation d'équipe incluses.
Défi
Aucun déploiement automatisé, aucun test dans le flux de déploiement et une configuration manuelle des environnements de développement.
Livré
Un pipeline CI/CD dans Bitbucket Pipelines pour Cloud Composer, Dataflow et dbt, avec des tests dans la CI.
Gains
Des déploiements dev/prod automatisés, moins d'erreurs et une intégration plus rapide des nouveaux arrivants.
L'équipe data engineering du client faisait face à trois problèmes liés qui s'aggravaient mutuellement :
Résultat : des itérations lentes, des taux d'erreur élevés et une dette technique croissante sur la plateforme de données.
Nous avons mis en place un pipeline CI/CD avec Bitbucket Pipelines pour les projets Cloud Composer, Dataflow et dbt. Le pipeline intègre les tests unitaires et les contrôles de qualité des données au flux de CI : un code défectueux comme des données défectueuses font échouer le build avant d'atteindre la production.
Nous avons standardisé la configuration des environnements de développement, avec un déploiement automatisé vers les environnements dev/prod à partir des branches de fonctionnalité. Des processus de test à configuration manuelle minimale ont facilité l'intégration des nouveaux arrivants et maintenu la cohérence des environnements et des processus de mise en production. Une documentation complète et la formation de l'équipe ont bouclé la boucle : l'équipe d'ingénierie peut étendre elle-même le pipeline à mesure que la plateforme grandit.
La plateforme utilisait Airflow dans Cloud Composer pour l'orchestration, des jobs Dataflow déployés à partir de modèles stockés dans Google Cloud Storage pour l'ingestion, des jobs Python sur des VM Google Compute Engine pour le traitement, BigQuery comme entrepôt de données et QlikSense pour le reporting. Les transformations étaient en cours de migration vers dbt. Le projet s'est achevé au 4e trimestre 2024.
Un pipeline CI/CD dans Bitbucket Pipelines pour les projets Cloud Composer, Dataflow et dbt.
Tests unitaires et contrôles de qualité des données intégrés au flux de CI.
Déploiement automatisé vers les environnements dev/prod à partir des branches de fonctionnalité.
Documentation et formation de l'équipe, pour qu'elle puisse étendre le pipeline.
Workflow CI/CD conceptuel fondé sur le périmètre du projet ; il ne reproduit pas l'architecture exacte du système du client.

Résultats qualitatifs du projet ; aucune économie mesurée n'est avancée.
Des déploiements entièrement automatisés : un effort manuel fortement réduit
Une meilleure qualité des données grâce aux tests unitaires et à la validation intégrés à la CI
Une configuration simplifiée des environnements de développement : moins d'erreurs, une intégration plus rapide
Plus d'agilité : des itérations et des déploiements de workflows de données plus rapides
Une équipe d'ingénierie autonome, documentée et formée pour maintenir et étendre le pipeline
Socle d'une croissance sûre de la plateforme
Solutions : Fondations de données
Choisissez un échange de 30 minutes ou envoyez-nous une courte demande, selon ce qui vous convient.