Архитектура платформы данных — это общий шаблон с продуманной структурой, который определяет, как организованы, хранятся, обрабатываются и используются цифровые данные в компании.
Другими словами, это «фундамент» для работы с данными в компании, который помогает делать их полезными, а не бесполезными.
Зачем это нужно?
- Чтобы данные не превращались в «хаос» и их можно было легко анализировать.
- Чтобы разные системы могли обмениваться данными без проблем.
- Чтобы масштабировать обработку данных по мере роста бизнеса.
- Чтобы иметь централизованную систему хранения данных для обучения ИИ
Визуально Платформу Данных можно представить в следующем виде:
Общий шаблон проектирования
Сценарий №1
Например, мы хотим спроектировать КХД и витрины данных, то выбираем необходимые компоненты (выделено ярко—оранжевым цветом) из общего шаблона
Сценарий №2
… или мы хотим спроектировать сбор данных телеметрии датчиков оборудования с последующим анализом и поиском закономерностей — выбираем необходимые компоненты (выделено ярко—оранжевым цветом) из общего шаблона
Сценарий №3
… или необходимо внедрить жизненный цикл данных (retention policy) для «переноса» данных их оперативного слоя в исторический в уже существующей архитектуре данных — выбираем необходимые компоненты (выделено ярко—оранжевым цветом) из общего шаблона
