التحدي
لا عمليات نشر مؤتمتة، ولا اختبارات في مسار النشر، وإعداد يدوي لبيئات التطوير.
عمليات نشر مؤتمتة ومختبرة لمنصة بيانات سحابية.
Bitbucket Pipelines لمشاريع Cloud Composer و Dataflow و dbt، مع اختبارات الوحدات وفحوص جودة البيانات ضمن CI وبيئات dev/prod مؤتمتة.
نطاق المسار
يشمل التوثيق وتدريب الفريق.
التحدي
لا عمليات نشر مؤتمتة، ولا اختبارات في مسار النشر، وإعداد يدوي لبيئات التطوير.
ما قدّمناه
مسار CI/CD في Bitbucket Pipelines لمشاريع Cloud Composer و Dataflow و dbt، مع اختبارات ضمن CI.
ما أتاحه
نشر مؤتمت إلى dev/prod، وأخطاء أقل، وانضمام أسرع للمهندسين الجدد.
واجه فريق هندسة البيانات لدى العميل ثلاث مشكلات مترابطة فاقم بعضها بعضا:
أدى اجتماع هذه المشكلات إلى بطء دورات التطوير، وارتفاع معدلات الأخطاء، وتراكم الدين التقني في منصة البيانات.
نفّذنا مسار CI/CD باستخدام Bitbucket Pipelines يغطي مشاريع Cloud Composer و Dataflow و dbt. ويدمج المسار اختبارات الوحدات وفحوص جودة البيانات في مسار CI، فالشيفرة المعطوبة والبيانات المعطوبة توقفان البناء قبل الوصول إلى بيئة الإنتاج.
وحّدنا إعداد بيئات التطوير قياسيا مع نشر مؤتمت إلى بيئتي dev/prod من فروع الميزات. وقلّلت إجراءات الاختبار، التي تحتاج إلى أقل قدر من الإعداد اليدوي، صعوبات انضمام المهندسين الجدد، وأبقت البيئات وعمليات الإصدار متسقة. واكتمل العمل بتوثيق شامل وتدريب للفريق، ليتمكن فريق الهندسة من توسيع المسار بنفسه مع نمو المنصة.
كانت المنصة تشغّل Airflow في Cloud Composer للتنسيق، ومهام Dataflow المنشورة من قوالب في Google Cloud Storage للاستيعاب، ومهام Python على أجهزة افتراضية في Google Compute Engine للمعالجة، و BigQuery مستودعا للبيانات، و QlikSense للتقارير. وكانت التحويلات قيد الترحيل إلى dbt. اكتمل المشروع في الربع الرابع (Q4) من عام 2024.
مسار CI/CD في Bitbucket Pipelines يغطي مشاريع Cloud Composer و Dataflow و dbt.
اختبارات الوحدات وفحوص جودة البيانات مدمجة في مسار CI.
نشر مؤتمت إلى بيئتي dev/prod من فروع الميزات.
توثيق وتدريب للفريق، ليتمكن من توسيع المسار.
سير عمل CI/CD مفاهيمي مبني على نطاق المشروع، وليس البنية الفعلية لنظام العميل.

نتائج نوعية للمشروع، ولا ندّعي أي وفورات مقيسة.
عمليات نشر مؤتمتة بالكامل، مع انخفاض كبير في الجهد اليدوي
جودة بيانات أعلى بفضل اختبارات الوحدات والتحقق المدمجين في CI
إعداد أبسط لبيئات التطوير: أخطاء أقل وانضمام أسرع للمهندسين الجدد
مرونة أعلى: دورات تطوير ونشر أسرع لمسارات سير عمل البيانات
تمكين فريق الهندسة بالتوثيق والتدريب من صيانة المسار وتوسيعه
أساس لنمو آمن وقابل للتوسع للمنصة
مجالات الحلول: أسس البيانات
اختاروا جلسة نقاش مدتها 30 دقيقة أو أرسلوا إلينا استفسارا موجزا، حسب ما يناسبكم.