التحدي
كان لا بد من تنزيل بيانات GfK يدويا من موقع إلكتروني يتطلب تسجيل دخول اتحاديا عبر SAML.
جلب مؤتمت لبيانات GfK المحمية بتسجيل دخول عبر SAML.
تسجيل دخول عبر SAML ببيانات اعتماد من Azure Key Vault، واكتشاف تلقائي للملفات، واستيعاب الملفات الجديدة في Azure Data Lake باستخدام Databricks.

التحدي
كان لا بد من تنزيل بيانات GfK يدويا من موقع إلكتروني يتطلب تسجيل دخول اتحاديا عبر SAML.
ما قدّمناه
سير عمل مؤتمت بالكامل لتسجيل الدخول عبر SAML واكتشاف الملفات واستيعابها.
ما أتاحه
تصل ملفات GfK الجديدة إلى Azure Data Lake دون خطوات يدوية ودون أسرار في الشيفرة البرمجية.
تقدّم GfK، وهي شركة رائدة في أبحاث السوق، بيانات بالغة الأهمية عن السلع الاستهلاكية، لكن الوصول إليها كان يتطلب تنزيلا يدويا من موقع إلكتروني يحمي اتحاد SAML تسجيل الدخول إليه. وكان جلب هذه البيانات ودمجها في طبقة تحليلات حديثة عملا مرهقا ومعرضا للأخطاء، وكانت الخطوة اليدوية تعطّل أي محاولة للأتمتة.
بنينا سير عمل مؤتمتا بالكامل يتولى تسجيل الدخول عبر SAML واكتشاف الملفات واستيعابها من البداية إلى النهاية. تعتمد المصادقة على مكتبة Mechanize في Python لتنفيذ مسار تسجيل الدخول إلى GfK Federation برمجيا، مع جلب بيانات الاعتماد وقت التشغيل من Azure Key Vault، فلا تحفظ الأسرار أبدا في الشيفرة البرمجية ولا في ملفات الإعدادات.
بعد المصادقة يستخدم النظام BeautifulSoup لفحص بوابة GfK Connect واستخراج قائمة ملفات البيانات المتاحة تلقائيا، فتنتفي الحاجة إلى البحث اليدوي عن الملفات. ثم تتولى مجموعة حوسبة في Databricks تنسيق الاستيعاب: تستبعد الملفات التي سبقت معالجتها وتنقل البيانات الجديدة فقط إلى Azure Data Lake، في عملية فعّالة وقابلة للتوسع ولا تتغير نتيجتها عند تكرار التشغيل.
تنفّذ مكتبة Mechanize في Python مسار تسجيل الدخول إلى GfK Federation، مع جلب بيانات الاعتماد وقت التشغيل من Azure Key Vault.
يفحص BeautifulSoup بوابة GfK Connect ويستخرج قائمة ملفات البيانات المتاحة.
تستبعد مجموعة حوسبة في Databricks الملفات التي سبقت معالجتها وتنقل البيانات الجديدة فقط إلى Azure Data Lake.
نتائج نوعية للمشروع، ولا ندّعي أي وفورات مقيسة.
جلب بيانات مؤتمت بالكامل وآمن يلغي خطوة التنزيل اليدوي
تكامل سلس مع التخزين السحابي في Azure ومع المعالجة اللاحقة
أمان معزّز: بيانات الاعتماد تدار عبر Azure Key Vault ولا توضع أبدا في الشيفرة المصدرية
بنية قابلة للتوسع تتكيف مع تزايد أحجام البيانات ومع تدفقات بيانات إضافية من GfK
نمط قابل للتكرار يمكن إعادة استخدامه مع أي مصدر بيانات محمي عبر SAML
مجالات الحلول: أسس البيانات
اختاروا جلسة نقاش مدتها 30 دقيقة أو أرسلوا إلينا استفسارا موجزا، حسب ما يناسبكم.