Please enable JavaScript.
Coggle requires JavaScript to display documents.
Tema 4. Arquitectura y ecosistemas de big data - Coggle Diagram
Tema 4. Arquitectura y ecosistemas de big data
4.1 Arquitectura de big data
Arquitectura genérica de datos
La arquitectura de datos presentaba
diferentes capas y componentes.
Capa de almacenamiento y procesamiento
Data warehouse
La toma de decisiones; los metadatos. Aplicando la gestión, catalogación y explotación; y la integración
de datos, que permite la captura, el procesamiento y la distribución del dato
Data mart
Es un subconjunto
del almacén de datos, almacenes de datos especializados
Staging area
Se usa frecuentemente como caché de datos no
persistente
Capa de gestión
Encargado de la disponibilidad,
de la gobernanza, de la consistencia, de la seguridad, del acceso, de la gestión de datos maestros, de la administración e incluso de la integración
del dato.
Se evoluciona rápidamente por los siguientes motivos:
Ampliar sus capacidades respecto a fuentes de datos
Proporcionar flexibilidad en el uso de componentes
Proporcionar una arquitectura empresarial, seguridad.
Extender la capacidad de gobernanza a conjuntos de datos complejos
Arquitectura genérica de big data
Direcciones de los ecosistemas
Soluciones enterprise-ready
Plataformas que cumplen estándares de
integración y seguridad
Soluciones ad hoc
Basadas en componentes independientes
que es necesario integrar internamente
Arquitectura
-
Ingestión del dato
: habilita la captura de datos
Formatode datos:
habilita la transformación del dato a formatos más optimizados para su almacenamiento en bruto.
4.2 Data lakes
4.3 Ecosistemas
4.3.1 Ecosistema Apache Hadoop
4.3.2 Ecosistema Apache Spark
4.3.3 Ecosistema Apache Flink
4.3.4 Ecosistema Apache Alluxio
4.3.5 Ecosistema H2O
4.3.6 Ecosistema Amazon
4.4 Comparativa principal motores de procesamiento big data
4.4.1 Casos de uso ecosistemas
