Please enable JavaScript.
Coggle requires JavaScript to display documents.
Data Lake - Coggle Diagram
Data Lake
Компоненти архітектури
Ingestion Layer
Ingestion Layer
Storage Layer
Фізичне зберігання
Processing Layer
Обробка запитів
Governance Layer
Доступ
Авторизація
Аутентифікація
Метадані
Що це таке?
Визначення
Сховище даних "як є"
Підтримка великих обсягів
Відмінності від Data Warehouse
Data Lake: сирі дані
DW: оброблені дані
Data Lake дешевше
Приклади
Amazon S3
Hadoop HDFS
Типи даних
Структуровані
Таблиці
SQL
Неструктуровані
Відео
MP4
AVI
Аудіо
MP3
WAV
Фото
Слабкоструктуровані
JSON
XML
CSV
Технології
Сховища
AWS S3
Azure Data Lake
Обробка
Apache Spark
Паралельна обробка
Підтримка Python/Scala
Presto
SQL-запити
Для великих даних
Інтеграція
Kafka
Flume
Переваги
Гнучкість
Приймає будь-які формати
Масштабованість
Горизонтальна
Додаємо нові сервери
Вертикальна
Потужніші сервери
Дешевизна
Дешевше за DW
Недоліки
Управління
Нема чіткої структури
Ризик "data swamp"
Погані/непотрібні дані
Безпека
Більше шансів витоку
Застосування
Аналіз даних
BI системи
Візуалізація
Машинне навчання
Тренування моделей
ІоТ (розумні пристрої)
Дані з сенсорів
Стрімінгові дані