Please enable JavaScript.

Coggle requires JavaScript to display documents.

Tema 3: Tecnologías de Big Data. - Coggle Diagram

- - - - Almacenan datos como pares clave-valor sin esquema definido.
      - Ideales para almacenamiento rápido y sencillo (ej. cachés).
      - Ejemplos: Redis, Amazon DynamoDB, RocksDB, Riak.
    - - Organizan los datos por columnas en lugar de filas.
        
        Eficientes para análisis de grandes volúmenes de datos.
        
        Ejemplos: Apache Cassandra, HBase, ScyllaDB, SAP IQ.
    - - Representan datos mediante nodos y relaciones (vértices).
      - Útiles en sistemas de recomendación y redes sociales.
      - Ejemplos: Neo4J, ArangoDB, OrientDB, GraphDB.
    - - Almacenan datos semiestructurados como JSON o XML.
      - Flexibles y adaptables para aplicaciones web y móviles.
      - Ejemplos: MongoDB, CouchDB, MarkLogic.
    - - Grafos: recomendadores, redes sociales.
      - Columnas: análisis masivo de datos.
      - Documentos: apps con datos semiestructurados.
      - Key-Value: sistemas de caché y respuesta rápida.
- - - - Capa batch: Gestionar un conjunto de datos maestros a los que se añade el dato
        nuevo en bruto. Precalcular las vistas batch.
        
        Capa de distribución: indexa las vistas batch para que puedan ser consultadas
        en latencia bajas de forma ad hoc.
        
        Capa de velocidad:proporcionando
        una mayor frecuencia de actualizaciones y solo trabaja con los datos
        
        El resultado de una consulta puede ser el resultado de la combinación de
        datos en movimiento o en reposo.
  - - - Los datos se distribuyen tanto a la capa batch como a la capa velocidad (en
        referencia a streaming) para su procesado
        
        La capa de procesamiento: Gestionar la entrada y salida de datos, ya sea en movimiento o en
        reposo. Responder/servir vistas históricas y/o en tiempo real.
        
        Resultado de una consulta puede ser el resultado de la combinación de
        datos en movimiento o en reposo
- - - - A través de conectores para el uso de los sistemas de almacenamiento y
        procesamiento de big data.
      - A través la adaptación de la tecnología a la complejidad del dato. Tenemos,
        por ejemplo, Apache Kylin, creado por eBay, que proporciona OLAP para
        big data, Hue, creado por Cloudera, que permite visualizar consultas ad hoc
        sobre Hadoop, o Caravel, de Airbnb, con foco en la exploración de datos.
      - Para permitir el desarrollo de aplicaciones de negocio, normalmente soportan más de un lenguaje de desarrollo (frecuentemente los mismos que soporta la librería de procesamiento a la que
        están vinculados).
        
        Esta tabla no entra en el detalle de los diferentes algoritmos soportados dentro
        de cada categoría, puesto que evolucionan rápidamente.
      - El soporte a los diferentes motores de procesamiento puede ser nativo o simplemente compatible mediante un conector
- - - - Ejecuta múltiples tareas simultáneamente.
      - Puede realizarse en una sola máquina con varios procesadores o en varias máquinas.
      - Mejora la velocidad y eficiencia en tareas intensivas.
    - - Divide el proceso entre varias máquinas, cada una con su propio procesador y memoria.
      - Los datos se reparten entre los nodos.
      - Escalable y robusto para grandes volúmenes de información.
    - - Procesa los datos en tiempo real, conforme llegan.
      - No requiere almacenamiento previo.
      - Ideal para aplicaciones como detección de fraudes, recomendaciones, y monitoreo en vivo.
    - - Se adopta el enfoque ELT (Extract, Load, Transform) en lugar del tradicional ETL.
        Permite mayor flexibilidad y rapidez en el manejo de grandes volúmenes de datos.