• الهدف

    كان الهدف من المشروع إنشاء منصة موحدة لتحليل البيانات من خلال دمج مجموعات بيانات Nielsen وIQVIA. مما أتاح رؤى دقيقة وقابلة للتنفيذ حول حصة السوق وسلوك المستهلك وأنماط الشراء مع ضمان اتساق البيانات وموثوقيتها.

  • الحل

    تم تصميم Market Share Cockpit لمعالجة وتحليل بيانات البيع بكفاءة. استغل الحل Azure Data Factory وSnowflake لتجهيز البيانات ومعالجتها وتحميلها، بينما تم استخدام SQL Server Master Data Services لإثراء البيانات الرئيسية. ضمنت التحولات الهرمية المتقدمة اتساق البيانات عبر مستويات تجميع متعددة، مما سمح بمقارنات سلسة بين معلومات السوق الخارجية وتقارير ERP الداخلية. تم تنفيذ فحوصات جودة البيانات الآلية، بما في ذلك تحليل مؤشرات الأداء الرئيسية ومراقبة تكرار القيم، لتعزيز دقة البيانات وموثوقيتها.

  • النتيجة
    • تكامل بيانات قوي: منصة موحدة تجمع بيانات Nielsen وIQVIA.

    • تحسين تخطيط البيانات الرئيسية: تحسين توافق المعلومات الخارجية مع التصنيفات الداخلية لاتخاذ قرارات أفضل.

    • قابلية التكيف الآلي: التكيف الديناميكي مع هياكل البيانات المتطورة لضمان الدقة المستمرة.

    • بيانات هرمية متسقة: ضمان توافق بيانات المبيعات عبر مستويات تجميع متعددة.

    • ضمان شامل لجودة البيانات: عمليات تحقق ومراقبة متكاملة للحصول على رؤى موثوقة.

  • التكنولوجيا
    • تخزين ومعالجة السحابة: Azure Data Lake, Snowflake

    • ETL وتكامل البيانات: Azure Data Factory, SQL Server Master Data Services

    • فحوصات جودة البيانات: تحليل مؤشرات الأداء الرئيسية الآلي، تحليل تكرار القيم، ولوحات المراقبة

    • الأمان ونقل البيانات: SFTP آمن لبيانات Nielsen، استيعاب قائم على الخدمة الرئيسية لبيانات IQVIA

كيف يعمل؟

1
مصادر البيانات
  • قواعد البيانات السحابية
  • قاعدة بيانات محلية
  • ملفات Excel بتنسيق "جميل"
  • ملفات csv
2
سكريبت بايثون
  • معالجة ملفات Excel مع التنسيق
  • التحويل إلى *.csv
3
خط أنابيب لينكس
  • تصفية البيانات
4
التجهيز
  • تحميل بيانات مخطط التجهيز
5
التجميع / MDS
  • تجميع البيانات على مستوى الشهر
  • ملء جداول الحقائق الوسيطة
  • تحميل مستودعات البيانات MD
  • نقل البيانات إلى MDS
6
MDS
  • إثراء MD بواسطة المستخدم
  • إدخال MD المطلوب للحسابات: الدورات، الوحدات. معدلات التحويل.
  • إطلاق استمرار تدفق البيانات
7
تحميل DWH
  • حساب وتحميل مستودعات البيانات من جداول الحقائق وبيانات المستخدم MDS
  • تسجيل سجل التنزيل والأخطاء التي حدثت مع الأسباب
8
PowerBI
  • تحديث مجموعة بيانات PowerBI