Plataforma de recogida y análisis de cuota de mercado

  • Клиент
    Nutricia Netherlands отдел Маркетинга и Инновацией
    Сотрудники на постоянной основе анализируют рынок и место Компании на нем. Ищут ниши для новых продуктов и возможности для расширения присутствия существующих
  • Задача

    Данные о рынке приходят из разных источников, с разной периодичностью и уровнем детализации.
    Для выполнения анализа доли рынка и прочих показателей — сотрудникам каждый раз приходится собирать эти данные из разных источников.
    Наша задача состояла в разработки алгоритма и автоматизации процесса при котором клиент может загружать и обрабатывать все данные «одной кнопкой», а также обогащать мастер данные по продуктам и участникам рынка используемыми в компании категориями и значениями.

  • Решение
    Мы разработали автоматический pipeline при котором данные автоматически собираются из требуемых источников, обрабатываются и загружаются в систему обогащения МД, и после обогащения пользователем, в финальное хранилище и оттуда в PowerBI.
  • Технологии

    Решение построено на использовании основных платформ заказчика:

    Обработка данных:

         Informatica PowerCenter
         Python
         Linux commands

    Обогащение данных:  SQL Server Master Data Services

    Front End: PowerBI

Como funciona

1
Источники данных
  • облачные БД
  • on-premise БД
  • Excel файлы с «красивым» форматированием
  • csv files
2
Python Script
  • обработка Excel файлов с форматированием
  • преобразование в *.csv
3
Linux Pipeline
  • Фильтрация данных
4
Загрузка Staging
  • Загрузка данных в Staging cхему
5
Аггрегация и МДС
  • Аггрегация данных на уровне месяца
  • Заполнение промежуточных фактовых таблиц
  • Заполнение МД витрин
  • Передача данных в МДС
6
МДС
  • Обогащение МД пользователем
  • Ввод дополнительных МД необходимых для расчетов: курсы, ед. пересчетов.
  • Запуск продолжения dataflow
7
Загрузка хранилища
  • Расчет и загрузка витрин данных из фактовых таблиц и пользовательских данных МДС
  • Запись лога загрузки и возникших ошибок с причинами
8
PowerBI
  • Обновлением PowerBI dataset