Please enable JavaScript.
Coggle requires JavaScript to display documents.
Современные концепции работы с данными - Coggle Diagram
Современные концепции работы с данными
Данные в современном мире
поддающееся многократной интерпретации представление информации в формализованном виде, пригодном для передачи, связи, или обработки
Причины, по которым человечество должно хранить больше данных
данные имеют решающее значение для обеспечения цифровой устойчивости
компании, прошедшие цифровую трансформацию, используют данные для разработки новых инновационных решений для будущего предприятия
компании должны следить за ритмом своих сотрудников, партнеров и клиентов, чтобы поддерживать высокий уровень доверия и сочувствия
Большие данные
Big Data
набор данных, размер которых превосходит возможности типичных баз данных (БД)
нечто большее, чем просто анализ огромных объемов информации
Источники BD - данные от:
измерительных устройств,
сообщения из социальных сетей,
метеоданные,
данные от сетей сотовой связи,
устройств аудио- и видео регистрации и т.п.
5 V
volume
Объем
Velocitty
скорость генерации
variety
разнообразность
veracity
правдивость
Value
ценность
Новое направление развития Большие данные получили в связи возможностью реализации двухуровневой модели обработки данных
согласно которой
на первом уровне выполняется традиционная аналитика не в режиме реального времени
На втором уровне данные подвергаются «аналитике на лету»
«Платформы больших данных»
инструментальные средства Больших данных, в состав которых входят:
хранилища данных
БД
серверы
средства управления данными
технологии и решения, обеспечивающие хранение и анализ больших данных
Hadoop
конструктор, на основе которого строят хранилища данных под потребности бизнеса
может использоваться для
анализа «озер данных»
обработки данных из соцсетей
анализа отношения к бренду
обработки данных о поведении клиентов
обеспечения безопасности и управления рисками
анализа геоданных
обработки данных от интернета вещей
создания корпоративного центра данных.
инструменты аналитики
Big Data Analytics Software
BDP, Big Data Platform
позволяют решить такие задачи как
сбор, интеграция данных из различных источников
извлечение, преобразование, загрузка данных
поддержка хранилища данных
потоковая обработка данных
поддержка программной конструкции Hadoop
анализ данных с использованием методов машинного обучения
управление контентом, организационное управление, менеджмент данных
платформа Converged Data Platform
Методы и технологии
Краудсорсинг
привлечение большого количества людей для решения нерегулярных задач модификации данных.
Инструменты ETL (Extract-Load-Transform)
приведение к единому формату, и загрузка в хранилище.
Машинное обучение и нейронные сети
разработка программ с целью получения рекомендаций для принятия решений на основе анализа данных.
Предиктивная аналитика – предсказательный анализ, построение прогнозов.
Имитационное моделирование – исследование поведения компьютерной модели, построенной на основе больших данных
Статистический анализ
Data mining
выявление тенденций в больших данных методами классификации, кластеризации, регрессионного анализа, анализа отклонений.
Визуализация данных
– представление результатов анализа больших данных в удобном для восприятия виде.
Data Science
наука о работе с данными
Технологическая цепочка проектов
Выбор того или иного подхода работы с данными зависит от
характера данных
объема данных
целей обработки данных
аналитический анализ небольшой по объему экономической информации
для работы с ограниченными объемами структурированных данных используются такие решения как БД типа SQL или Oracle
разнородные по структуре и типам данные больших объемов, генерируемые с высокой скоростью, требуют решений для Больших данных
извлечение знаний из данных различных предметных областей требует технологий Data Science
Перспективные направления развития технологий работы с данными:
развитие уже известных подходов
технологии искусственного интеллекта,
распределенная обработка,
Cloud First (облачная инфраструктура) и т.п
появление принципиально новых направлений:
Decision intelligence (наука о принятии решений),
Маркетплейсы данных (рынки данных),
графовые базы данных,
экосистемные альянсы
