Please enable JavaScript.

Coggle requires JavaScript to display documents.

Arquitectura y Sistemas de Big Data - Coggle Diagram

- - - - • Ingestión del dato: componente que habilita la captura de datos. Ejem- plos: Kafka, Logstash, RabbitMQ, Fluentd, Chuckwa y AWS Kinesis.
      - •Formato de datos: componente que habilita la transformación del dato a formatos más optimizados para su almacenamiento en bruto, como el formato binario. Ejemplos: Avro, ProtoBuf, Thrift y Parquet.
      - • Sistema de archivos distribuido: componente que habilita el almacena- miento de los datos en bruto en un sistema de archivos distribuidos. Ejem- plos: HDFS, AWS S3, Microsoft Azure, Alluxio y Ceph.
      - •Procesamiento batch: componente que habilita el procesamiento batch. Ejemplos: Spark, Hadoop MapReduce, AWS EMR, Flink y Tez.
      - – MR alto nivel: componente que habilita el uso de MapReduce me- diante scripting. Ejemplos: Pig, Cascading, Hadoop Streaming y Casca- log.
      - – ML batch: componente que habilita machine learning en procesamien- to batch. Ejemplos: Mahout, Spark Mlib, FlinkML y H20.
      - – Graph batch: componente que habilita el análisis de grafos en proce- samiento batch. Ejemplos: GraphLab, Giraph, Spark GraphX y Hama.
      - – SQL batch: componente que habilita el uso de SQL en procesamiento
      - batch. Ejemplos: Hive, Presto, Drill, Hue e Impala.
- - - - Nació como pionero del big data.
        Basado en HDFS (sistema distribuido de ficheros) y MapReduce (procesamiento batch).
    - - Motor de procesamiento en memoria, mucho más rápido que MapReduce.
    - - Optimizado para streaming en tiempo real con baja latencia.
        Ofrece un modelo de procesamiento unificado (batch y streaming).
        Compatible con entornos de IoT, finanzas, telecomunicaciones, etc.
    - - Sistema de almacenamiento distribuido en memoria.
        Actúa como capa intermedia entre motores de procesamiento y sistemas de almacenamiento.
    - - Centrado en machine learning y deep learning.
        Ofrece algoritmos distribuidos escalables: regresiones, árboles, clustering, redes neuronales.
    - - Ecosistema en la nube con servicios gestionados:
        
        Amazon S3 (almacenamiento).
        
        EMR (Elastic MapReduce, clúster gestionado).
        
        Kinesis (streaming).
        
        Redshift (data warehouse).
        
        Athena (consultas SQL sobre S3).
- - - - Hadoop: análisis histórico de grandes volúmenes, almacenamiento masivo.
      - Spark: proyectos híbridos (batch + streaming), análisis de logs, recomendaciones, ML.
      - Flink: monitorización en tiempo real (fraude bancario, IoT, telecomunicaciones).
      - H2O: modelos predictivos, scoring crediticio, analítica de clientes.
      - Amazon: soluciones empresariales rápidas en la nube (e-commerce, startups, BI en cloud).