Please enable JavaScript.
Coggle requires JavaScript to display documents.
Большие данные (Желательные свойства системы больших данных (Малые…
Большие данные
Желательные свойства системы больших данных
Малые задержки чтения и записи
Масштабируемость
Надежность и отказоустойчивость
Обобщение
Расширяемость
Возможность осуществлять запросы с произвольным доступом
Минимальное сопровождение(как следствие невысокой сложности реализации)
Отлаживаемость
Масштабирование в традиционных БД
С помощью очереди
Использование фрагментации данных(горизонтальное разделение)
Реплицирование
Возникающие проблемы
Большое время ожидания
Искажение данных
Сбои "железа"
Архитектуры систем больших данных
Инкрементная архитектура
Сложность в эксплуатации
Уплотнение - процесс восстановления неиспользуемого дискового пространства
Сложность в достижении окончательной согласованности
CAP(Consistency, Availability, Partition tolerance) Системы с инкрементной архитектурой являются высокодоступными, что оказывает влияние на их согласованность. Если в распределенной системе происходит сбой, то при обновлении доступных клиенту реплик возможно получение ими различных обновлений. В результате значения реплик будут отличаться и потребуется код для исправления.
Неустойчивость к ошибкам, связанным с человеческим фактором
Лямбда-архитектура
Состав
Уровень обслуживания
Специализированная БД, которая загружает пакетное представление и допускает произвольное чтение информации
БД этого уровня не требует поддержки операций произвольной записи
Уровень ускорения
Обеспечивает выполнение функций над произвольными данными в реальном времени
Компенсирует большую задержку обновлений на уровне обслуживания
Выполняет инкрементные вычисления
представление в реальном времени = функция(представление в реальном времени, новые данные)
Уровень пакетной обработки
Пакетное представление - некоторая предварительно вычисляемая функция
пакетное представление = функция(все данные)
запрос=функция(пакетное представление)
Хранит главную копию массива данных и предварительно вычисляемые пакетные представления
Выполняет повторные вычисления
Большие данные
Принципы и практика построения масштабируемых систем обработки данных в реальном времени