Please enable JavaScript.

Coggle requires JavaScript to display documents.

Hadoop, MapReduce y Lustre, Tema en 3 oraciones: - Coggle Diagram

- - - - HDS
        
        Divide los datos en bloques y los replica en varios nodos del clúster para proporcionar redundancia y tolerancia a fallos. Esto permite un alto rendimiento en el acceso a los datos y asegura que los datos estén disponibles incluso en caso de fallos de hardware.
      - MapReduce
        
        Modelo de programación utilizado para procesar y analizar grandes conjuntos de datos distribuidos en clústeres de computadoras.
        
        El modelo MapReduce se basa en dos operaciones principales: el paso de mapeo (map) y el paso de reducción (reduce).
        
        Map
        
        El paso de mapeo procesa datos de entrada y genera pares clave-valor intermedios
        
        Reduce
        
        En el paso de reducción, los pares clave-valor intermedios generados por el paso de mapeo se agrupan según su clave común y se envían a una función de reducción. La función de reducción es definida por el programador y toma como entrada una clave y una lista de valores asociados a esa clave.
        
        Fue popularizado por Google y posteriormente implementado en Hadoop.
- - - - La arquitectura de Lustre se basa en una estructura cliente-servidor distribuida que consta de varios componentes clave.
        
        Cliente Lustre: El cliente Lustre es el componente que permite a los usuarios y aplicaciones acceder y utilizar el sistema de archivos Lustre.
        
        Servidor de metadatos (MDS): Los servidores de metadatos son responsables de gestionar la información sobre la ubicación de los archivos y directorios en el sistema de archivos Lustre.
        
        Servidor de almacenamiento (OSS): Los servidores de almacenamiento son los encargados de almacenar los datos reales en el sistema de archivos Lustre.
        
        Espacio de nombres distribuido (Distributed Namespace): El espacio de nombres distribuido es una característica clave de Lustre que permite unificar la vista del sistema de archivos a través de múltiples servidores de metadatos.
        
        Red de comunicación: Lustre utiliza una red de comunicación de alta velocidad para transferir datos entre los componentes.