Please enable JavaScript.
Coggle requires JavaScript to display documents.
Современные подходы к хранению данных - Coggle Diagram
Современные подходы к хранению данных
Причины пересмотра традиционных подходов к обработке данных
Системы, доставшиеся в наследство, трудно перенести на новые аппаратно-программные платформы
Перенос данных из централизованного ВЦ на рабочий стол бизнес-аналитика
Интенсивное использование СППР
Развитие технологий, интернета
Структурные изменения в бизнесе
Появление стандартов для программного обеспечения бизнеса
Требования пользователей
Модели хранилищ данных
виртуальное хранилище
набор отдельных баз данных, которые можно использовать совместно, чтобы пользователь мог эффективно получать доступ ко всем данным, как если бы они хранились в одном хранилище данных
+
минимизация объема хранимых данных
работа с текущими, актуальными данными
-
более высокое, по сравнению с физическим ХД время обработки запросов
необходимость постоянной доступности всех OLTP-источников
снижение быстродействия OLTP-систем
OLTP-системы не ориентированы на хранение данных за длительный период времени
витрина данных
корпоративное хранилище данных
Модель озера данных
При доступе к озерам данных пользователи должны знать
Конкретные типы данных и источники, в которых они нуждаются
Сколько данных им нужно
Когда им это нужно
Методы аналитики, которые будут применяться к этим данным
Облачные архитектуры хранилищ данных
Загрузка данных в облачные хранилища данных нетривиальна
Обновления, вставки и удаления могут быть сложными и должны выполняться осторожно, чтобы не допустить снижения производительности запросов
С полуструктурированными данными трудно иметь дело — их необходимо нормализовать в формате реляционной БД, что требует автоматизации больших потоков данных
Вложенные структуры обычно не поддерживаются в облачных хранилищах данных, их необходимо преобразовать в форматы, понятные хранилищу данных
Оптимизация кластера. Существуют различные варианты настройки кластера Redshift для запуска ваших рабочих нагрузок, которые могут потребовать иной настройки.
