• العميل
    موظفو قسم التسويق والابتكار في Nutricia Netherlands يقومون بتحليل السوق ومكانة الشركة فيه باستمرار. يبحثون عن منافذ لمنتجات جديدة وفرص لتوسيع وجود المنتجات الحالية
  • الهدف

    تأتي بيانات السوق من مصادر مختلفة، بتردد ومستوى تفصيل مختلف. لإجراء تحليل لحصة السوق ومؤشرات أخرى، يجب على الموظفين جمع هذه البيانات من مصادر مختلفة في كل مرة. كانت مهمتنا تطوير خوارزمية وأتمتة العملية التي يمكن للعميل من خلالها تحميل ومعالجة جميع البيانات "بضغطة زر واحدة"، وكذلك إثراء البيانات الرئيسية عن المنتجات والمشاركين في السوق بالفئات والقيم المستخدمة في الشركة.

  • الحل
    قمنا بتطوير خط أنابيب تلقائي يتم فيه جمع البيانات تلقائيًا من المصادر المطلوبة، ومعالجتها وتحميلها في نظام إثراء البيانات الرئيسية، وبعد الإثراء من قبل المستخدم، إلى التخزين النهائي ومن هناك إلى PowerBI.
  • التكنولوجيا

    تم بناء الحل باستخدام المنصات الرئيسية للعميل:

    معالجة البيانات:

         Informatica PowerCenter
         Python
         Linux commands

    إثراء البيانات: SQL Server Master Data Services

    الواجهة الأمامية: PowerBI

كيف يعمل؟

1
مصادر البيانات
  • قواعد البيانات السحابية
  • قاعدة بيانات محلية
  • ملفات Excel بتنسيق "جميل"
  • ملفات csv
2
سكريبت بايثون
  • معالجة ملفات Excel بالتنسيق
  • التحويل إلى *.csv
3
خط أنابيب لينكس
  • تصفية البيانات
4
التجهيز
  • تحميل بيانات مخطط التجهيز
5
التجميع / MDS
  • تجميع البيانات على مستوى الشهر
  • ملء جداول الحقائق الوسيطة
  • تحميل مستودعات البيانات MD
  • نقل البيانات إلى MDS
6
MDS
  • إثراء MD بواسطة المستخدم
  • إدخال MD المطلوب للحسابات: الدورات، الوحدات. معدلات التحويل.
  • إطلاق استمرار تدفق البيانات
7
تحميل مستودع البيانات
  • حساب وتحميل مستودعات البيانات من جداول الحقائق وبيانات المستخدم MDS
  • تسجيل سجل التنزيل والأخطاء التي حدثت مع الأسباب
8
PowerBI
  • تحديث مجموعة بيانات PowerBI