Please enable JavaScript.
Coggle requires JavaScript to display documents.
👨💻(Бизнес аналит.) Основы Big Data и технологии работы - Coggle Diagram
👨💻(Бизнес аналит.) Основы Big Data и технологии работы
Суть и ценность Big Data
Определение: данные, не влезающие в традиционные СУБД
Модель 3V: Volume (объём), Velocity (скорость), Variety (разнообразие)
Дополнительные V: Value (ценность), Veracity (достоверность)
Проблемы: затраты, конфиденциальность, потеря данных
Значение для бизнеса: создание data-driven-организаций
Инструменты обработки (Hadoop и Spark)
MapReduce: базовая модель (Map → Shuffle → Reduce)
Hadoop: HDFS + MapReduce (распределенное хранение)
Spark: обработка в ОП (в ~100 раз быстрее)
NoSQL: отказ от реляционных таблиц для масштабируемости
Виды NoSQL: графовые, колоночные, документные, «ключ-значение»
Хранилища данных (DWH) и Озера данных
DWH: очищенные, структурированные, исторические данные
Проектирование ХД: подходы Кимбалла и Инмона
Схемы ХД: «звезда» и «снежинка»
Data Lake: хранение сырых данных в оригинальном формате
Различие схем: DWH — «по записи», Data Lake — «по чтению»
Виды аналитики (от прошлого к будущему)
Описательная: что произошло? (отчеты)
Диагностическая: почему это произошло? (поиск причин)
Предиктивная: что скорее всего случится? (прогнозы)
Предписывающая: что с этим делать? (рекомендации)
Менеджмент и облака в аналитике
Управление людьми: данные вместо интуиции (А. Кошик)
Проблема аналитика: риск потери объективности
Облачные услуги: IaaS, PaaS, SaaS
Преимущества облаков: pay-as-you-go, SLA (безопасность)