Please enable JavaScript.
Coggle requires JavaScript to display documents.
HADOOP, LUSTRE Y MAP REDUCE, RESUMEN DEL TEMA, NOMBRE: Galicia Alonso…
HADOOP, LUSTRE Y MAP REDUCE
HADOOP
Definición
Es un marco que permite el procesamiento distribuido de grandes conjuntos de datos en grupo de computadoras
-
-
-
Aplicaciones
- SPARK
- PRESTO
- HIVE
- HBASE
- ZEPELLIN
LUSTRE
Definición
Es un sistema de archivos distribuido de alto rendimiento diseñado para entornos de computación de alto rendimiento. Diseñado para manejar grandes volúmenes de datos y múltiples usuarios en clústeres de computadoras.
Arquitectura
- Managment Server (MGS)
- Managment Targets (MGT)
Casos de uso
- Almacenamiento de datos empresariales.
- Computación de alto rendimiento.
- Procesamiento de big data.
-
-
MAP REDUCE
Definición
Es un modelo de programación y un marco de procesamiento de datos distribuido utilizado para procesar grandes conjuntos de datos en clústeres de computadoras.
Arquitectura
- División de datos
- Fase de MAP
- Ordenamiento y particionamiento
- Combinación de resultados
- Almacenamiento de resultados
Implementación
-
Ejemplos
- Procesamiento de datos en redes sociales
- Análisis de registros de servidores web
- Análisis de datos de sensores
- Análisis de datos de mercado
- Procesamiento de imágenes
-
RESUMEN DEL TEMA
- Hadoop es una plataforma de procesamiento de datos distribuida que se enfoca en el almacenamiento y procesamiento de grandes volúmenes de datos en lotes.
MapReduce permite el procesamiento eficiente de grandes volúmenes de datos en un clúster de computadoras, dividiendo las tareas en fases de mapeo y reducción ejecutadas en paralelo.
Lustre es un sistema de archivos distribuido de alto rendimiento diseñado para entornos HPC y almacenamiento a gran escala, se basa en un enfoque de cliente-servidor y utiliza una arquitectura distribuida para almacenar y administrar los datos.
-