تواصل معنا

استيعاب بيانات GfK عبر SAML

جلب مؤتمت لبيانات GfK المحمية بتسجيل دخول عبر SAML.

تسجيل دخول عبر SAML ببيانات اعتماد من Azure Key Vault، واكتشاف تلقائي للملفات، واستيعاب الملفات الجديدة في Azure Data Lake باستخدام Databricks.

NDA 2024

المبيعات والتسويق FMCG مسرّعات الموصّلات والتكامل
مخطط مفاهيمي لاستيعاب بيانات السوق من GfK باستخدام مصادقة SAML واكتشاف مؤتمت للملفات و Databricks و Azure Data Lake، وليس لقطة شاشة خاصة بعميل.
رسم توضيحي مفاهيمي لمسار الاستيعاب، وليس لقطة شاشة من نظام العميل. افتح الصورة كاملة

التحدي

كان لا بد من تنزيل بيانات GfK يدويا من موقع إلكتروني يتطلب تسجيل دخول اتحاديا عبر SAML.

ما قدّمناه

سير عمل مؤتمت بالكامل لتسجيل الدخول عبر SAML واكتشاف الملفات واستيعابها.

ما أتاحه

تصل ملفات GfK الجديدة إلى Azure Data Lake دون خطوات يدوية ودون أسرار في الشيفرة البرمجية.

التحدي

تقدّم GfK، وهي شركة رائدة في أبحاث السوق، بيانات بالغة الأهمية عن السلع الاستهلاكية، لكن الوصول إليها كان يتطلب تنزيلا يدويا من موقع إلكتروني يحمي اتحاد SAML تسجيل الدخول إليه. وكان جلب هذه البيانات ودمجها في طبقة تحليلات حديثة عملا مرهقا ومعرضا للأخطاء، وكانت الخطوة اليدوية تعطّل أي محاولة للأتمتة.

النهج

بنينا سير عمل مؤتمتا بالكامل يتولى تسجيل الدخول عبر SAML واكتشاف الملفات واستيعابها من البداية إلى النهاية. تعتمد المصادقة على مكتبة Mechanize في Python لتنفيذ مسار تسجيل الدخول إلى GfK Federation برمجيا، مع جلب بيانات الاعتماد وقت التشغيل من Azure Key Vault، فلا تحفظ الأسرار أبدا في الشيفرة البرمجية ولا في ملفات الإعدادات.

بعد المصادقة يستخدم النظام BeautifulSoup لفحص بوابة GfK Connect واستخراج قائمة ملفات البيانات المتاحة تلقائيا، فتنتفي الحاجة إلى البحث اليدوي عن الملفات. ثم تتولى مجموعة حوسبة في Databricks تنسيق الاستيعاب: تستبعد الملفات التي سبقت معالجتها وتنقل البيانات الجديدة فقط إلى Azure Data Lake، في عملية فعّالة وقابلة للتوسع ولا تتغير نتيجتها عند تكرار التشغيل.

  1. 01

    مصادقة

    تنفّذ مكتبة Mechanize في Python مسار تسجيل الدخول إلى GfK Federation، مع جلب بيانات الاعتماد وقت التشغيل من Azure Key Vault.

  2. 02

    اكتشاف

    يفحص BeautifulSoup بوابة GfK Connect ويستخرج قائمة ملفات البيانات المتاحة.

  3. 03

    استيعاب

    تستبعد مجموعة حوسبة في Databricks الملفات التي سبقت معالجتها وتنقل البيانات الجديدة فقط إلى Azure Data Lake.

النتائج

نتائج نوعية للمشروع، ولا ندّعي أي وفورات مقيسة.

  • جلب بيانات مؤتمت بالكامل وآمن يلغي خطوة التنزيل اليدوي

  • تكامل سلس مع التخزين السحابي في Azure ومع المعالجة اللاحقة

  • أمان معزّز: بيانات الاعتماد تدار عبر Azure Key Vault ولا توضع أبدا في الشيفرة المصدرية

  • بنية قابلة للتوسع تتكيف مع تزايد أحجام البيانات ومع تدفقات بيانات إضافية من GfK

  • نمط قابل للتكرار يمكن إعادة استخدامه مع أي مصدر بيانات محمي عبر SAML

مصادقة SAML Python (Mechanize, BeautifulSoup) Azure Key Vault Databricks Azure Data Lake

مجالات الحلول: أسس البيانات

هل تواجهون تحديا مماثلا؟

اختاروا مزود بيانات واحدا يتطلب تسجيل دخول عبر الويب، وناقشوا معنا كيفية أتمتة جلب البيانات بأمان.

احجز جلسة نقاش مدتها 30 دقيقة