Plataforma de recogida y análisis de cuota de mercado
-
Клиент
Nutricia Netherlands отдел Маркетинга и Инновацией
Сотрудники на постоянной основе анализируют рынок и место Компании на нем. Ищут ниши для новых продуктов и возможности для расширения присутствия существующих -
Задача
Данные о рынке приходят из разных источников, с разной периодичностью и уровнем детализации.
Для выполнения анализа доли рынка и прочих показателей — сотрудникам каждый раз приходится собирать эти данные из разных источников.
Наша задача состояла в разработки алгоритма и автоматизации процесса при котором клиент может загружать и обрабатывать все данные «одной кнопкой», а также обогащать мастер данные по продуктам и участникам рынка используемыми в компании категориями и значениями. -
Решение
Мы разработали автоматический pipeline при котором данные автоматически собираются из требуемых источников, обрабатываются и загружаются в систему обогащения МД, и после обогащения пользователем, в финальное хранилище и оттуда в PowerBI.
-
Технологии
Решение построено на использовании основных платформ заказчика:
Обработка данных:
Informatica PowerCenter
Python
Linux commandsОбогащение данных: SQL Server Master Data Services
Front End: PowerBI
Como funciona
1
Источники данных
- облачные БД
- on-premise БД
- Excel файлы с «красивым» форматированием
- csv files
2
Python Script
- обработка Excel файлов с форматированием
- преобразование в *.csv
3
Linux Pipeline
- Фильтрация данных
4
Загрузка Staging
- Загрузка данных в Staging cхему
5
Аггрегация и МДС
- Аггрегация данных на уровне месяца
- Заполнение промежуточных фактовых таблиц
- Заполнение МД витрин
- Передача данных в МДС
6
МДС
- Обогащение МД пользователем
- Ввод дополнительных МД необходимых для расчетов: курсы, ед. пересчетов.
- Запуск продолжения dataflow
7
Загрузка хранилища
- Расчет и загрузка витрин данных из фактовых таблиц и пользовательских данных МДС
- Запись лога загрузки и возникших ошибок с причинами
8
PowerBI
- Обновлением PowerBI dataset