Please enable JavaScript.

Coggle requires JavaScript to display documents.

Hadoop, MapReduce, Lustre. - Coggle Diagram

- - - - Contiene archivos .jar y los scripts necesarios para ejecutar el procesamiento
      - Una funcionalidad clave es que, para la programación efectiva de trabajo, cada sistema de archivos debe conocer y proporcionar su ubicación
      - Un cluster típico de Hadoop incluye un nodo maestro y múltiples nodos esclavo.
        
        El nodo maestro consiste en jobtracker, tasktraker, namenode, y datanode
        
        Un esclavo consiste en un nodo de datos y un rastreador de tareas
    - - Hadoop Distributed File System (HDFS)
      - Procesamiento de Big Data con Hadoop
    - - Spark
      - Presto
      - Hive
      - Hbase
      - Zeppelin
- - - - Arquitectura Lustre
        
        MGS (Servidor de administración) y MGT (Destinos de administración
        
        MDS (Servidores de metadatos) y MDT (Destinos de metadatos)
        
        OSS (Servidores de almacenamiento de objetos) y OST (Destinos de almacenamiento de objetos)
        
        Clientes
      - Casos de uso con Lustre
        
        Computación de alto rendimiento
        
        Representa la capacidad de procesar datos y realizar cálculos complejos a velocidades muy altas.
        
        Procesamiento de BigData
        
        Lustre es adecuado para aplicaciones de procesamiento de big data, donde se requiere el procesamiento y análisis de grandes conjuntos de datos.
        
        Lustre se puede utilizar para almacenar grandes cantidades de datos empresariales, como registros de transacciones, datos de clientes, imágenes y videos, entre otros.
- - - - Arquitectura
        
        Se divide en dos fases
        
        Fase Map
        
        Se encarga de procesar los datos de entrada
        
        Fase Reduce
        
        Combina los datos de salida del MAP para producir un resultado final
        
        La arquitectura de MapReduce se puede explicar en lo siguiente
        
        División de datos
        
        Combinación de resultados
        
        Almacenamiento de resultados
        
        Ordenamiento y particionamiento
      - Implementación
        
        La implementación de MapReduce se realiza a través de herramientas y frameworks como Apache Hadoop, que proporciona la infraestructura necesaria para el procesamiento distribuido de grandes conjuntos de datos