تواصل معنا

مسار CI/CD لمنصة بيانات سحابية

عمليات نشر مؤتمتة ومختبرة لمنصة بيانات سحابية.

Bitbucket Pipelines لمشاريع Cloud Composer و Dataflow و dbt، مع اختبارات الوحدات وفحوص جودة البيانات ضمن CI وبيئات dev/prod مؤتمتة.

NDA 2024

تقنية المعلومات والبيانات متعدد الوظائف موثوقية المنصة وأداؤها

نطاق المسار

  1. 01Bitbucket PipelinesCI/CD لمشاريع Cloud Composer و Dataflow و dbt
  2. 02الاختبارات ضمن CIاختبارات الوحدات وفحوص جودة البيانات توقف البناء قبل الوصول إلى بيئة الإنتاج
  3. 03البيئاتنشر مؤتمت إلى بيئتي dev/prod من فروع الميزات

يشمل التوثيق وتدريب الفريق.

التحدي

لا عمليات نشر مؤتمتة، ولا اختبارات في مسار النشر، وإعداد يدوي لبيئات التطوير.

ما قدّمناه

مسار CI/CD في Bitbucket Pipelines لمشاريع Cloud Composer و Dataflow و dbt، مع اختبارات ضمن CI.

ما أتاحه

نشر مؤتمت إلى dev/prod، وأخطاء أقل، وانضمام أسرع للمهندسين الجدد.

التحدي

واجه فريق هندسة البيانات لدى العميل ثلاث مشكلات مترابطة فاقم بعضها بعضا:

  • لا عمليات نشر مؤتمتة لمشاريع Cloud Composer / Dataflow و dbt، وكل تغيير ينشر يدويا
  • لا اختبارات وحدات ولا فحوص لجودة البيانات في مسار النشر، فتظهر التراجعات (regressions) في بيئة الإنتاج
  • إعداد يدوي لبيئات التطوير: انضمام بطيء للمهندسين الجدد، وتطابق غير ثابت بين dev و prod

أدى اجتماع هذه المشكلات إلى بطء دورات التطوير، وارتفاع معدلات الأخطاء، وتراكم الدين التقني في منصة البيانات.

النهج

نفّذنا مسار CI/CD باستخدام Bitbucket Pipelines يغطي مشاريع Cloud Composer و Dataflow و dbt. ويدمج المسار اختبارات الوحدات وفحوص جودة البيانات في مسار CI، فالشيفرة المعطوبة والبيانات المعطوبة توقفان البناء قبل الوصول إلى بيئة الإنتاج.

وحّدنا إعداد بيئات التطوير قياسيا مع نشر مؤتمت إلى بيئتي dev/prod من فروع الميزات. وقلّلت إجراءات الاختبار، التي تحتاج إلى أقل قدر من الإعداد اليدوي، صعوبات انضمام المهندسين الجدد، وأبقت البيئات وعمليات الإصدار متسقة. واكتمل العمل بتوثيق شامل وتدريب للفريق، ليتمكن فريق الهندسة من توسيع المسار بنفسه مع نمو المنصة.

كانت المنصة تشغّل Airflow في Cloud Composer للتنسيق، ومهام Dataflow المنشورة من قوالب في Google Cloud Storage للاستيعاب، ومهام Python على أجهزة افتراضية في Google Compute Engine للمعالجة، و BigQuery مستودعا للبيانات، و QlikSense للتقارير. وكانت التحويلات قيد الترحيل إلى dbt. اكتمل المشروع في الربع الرابع (Q4) من عام 2024.

  1. 01

    البناء

    مسار CI/CD في Bitbucket Pipelines يغطي مشاريع Cloud Composer و Dataflow و dbt.

  2. 02

    الاختبار

    اختبارات الوحدات وفحوص جودة البيانات مدمجة في مسار CI.

  3. 03

    النشر

    نشر مؤتمت إلى بيئتي dev/prod من فروع الميزات.

  4. 04

    التسليم

    توثيق وتدريب للفريق، ليتمكن من توسيع المسار.

النتائج

نتائج نوعية للمشروع، ولا ندّعي أي وفورات مقيسة.

  • عمليات نشر مؤتمتة بالكامل، مع انخفاض كبير في الجهد اليدوي

  • جودة بيانات أعلى بفضل اختبارات الوحدات والتحقق المدمجين في CI

  • إعداد أبسط لبيئات التطوير: أخطاء أقل وانضمام أسرع للمهندسين الجدد

  • مرونة أعلى: دورات تطوير ونشر أسرع لمسارات سير عمل البيانات

  • تمكين فريق الهندسة بالتوثيق والتدريب من صيانة المسار وتوسيعه

  • أساس لنمو آمن وقابل للتوسع للمنصة

Bitbucket Pipelines Cloud Composer (Airflow) Dataflow dbt BigQuery Google Cloud Storage (قوالب Dataflow) Python على أجهزة افتراضية في Compute Engine QlikSense

مجالات الحلول: أسس البيانات

هل تواجهون تحديا مماثلا؟

أحضروا عملية إصدار واحدة لمنصة بيانات، وناقشوا معنا كيفية أتمتة الاختبار والنشر.

احجز جلسة نقاش مدتها 30 دقيقة