Please enable JavaScript.
Coggle requires JavaScript to display documents.
Современные концепции работы с данными - Coggle Diagram
Современные концепции работы с данными
Причины, по которым человечество должно хранить больше данных, которые оно создает
данные имеют решающее значение для обеспечения цифровой устойчивости - способности организации быстро адаптироваться к сбоям в работе бизнеса за счет использования цифровых возможностей
компании, прошедшие цифровую трансформацию, используют данные для разработки новых инновационных решений для будущего предприятия
компании должны следить за ритмом своих сотрудников, партнеров и клиентов, чтобы поддерживать высокий уровень доверия и сочувствия
Большие данные
Источники BD - непрерывно поступающие данные от
измерительных устройств
сообщения из социальных сетей
метеоданные
данные от сетей сотовой связи
устройств аудио- и видео регистрации
Платформы больших данных
ХД (хранилища данных)
БД
Серверы
Средства управления данными
технологии и решения, обеспечивающие хранение и анализ больших данных
инструменты аналитики
Платформы BDP позволяют решить такие задачи как
сбор, интеграция данных из различных источников
извлечение, преобразование, загрузка данных
поддержка хранилища данных
потоковая обработка данных
поддержка программной конструкции Hadoop для работы с большими данными с использованием открытых кодов и облачных технологий
анализ данных с использованием методов машинного обучения
управление контентом, организационное управление, менеджмент данных
Hadoop
Его используют Google, Amazon, Facebook, Twitter, eBay
При этом технология подходит для любого бизнеса, работающего с объемами данных свыше терабайта
Его можно использовать для
анализа «озер данных»
обработки данных из соцсетей
анализа отношения к бренду
обработки данных о поведении клиентов
обеспечения безопасности и управления рисками
анализа геоданных
обработки данных от интернета вещей
создания корпоративного центра данных
Методы и технологии Больших данных
Краудсорсинг – привлечение большого количества людей для решения нерегулярных задач модификации данных
Инструменты ETL (Extract-Load-Transform) – извлечение данных из различных источников, их трансформация, т.е. приведение к единому формату, и загрузка в хранилище
Машинное обучение и нейронные сети – разработка программ с целью получения рекомендаций для принятия решений на основе анализа данных
Предиктивная аналитика – предсказательный анализ, построение прогнозов
Имитационное моделирование
Статистический анализ
Data mining (интеллектуальный анализ данных)
Визуализация данных