Please enable JavaScript.

Coggle requires JavaScript to display documents.

Arquitectura y ecosistemas de big data - Coggle Diagram

- - - - Plataforma open source para procesamiento streaming y batch
      - Todo se trata como flujo; el batch es solo un caso especial
      - Procesa datos en tiempo real (latencia sub-segundo)
      - Origen europeo: Proyecto Stratosphere (2010)
      - Despliegue: local, clúster o nube
      - Empresa principal: DataArtisans
      - Otros fabricantes: MapR y más
      - Componentes clave:
        
        Streaming: DataStream API (Java, Scala)
        
        Batch: DataSet API (Java, Scala, Python)
        
        Librerías:
        
        Table API (tipo SQL)
        
        Flink ML (machine learning)
        
        Gelly (grafos)
        
        CEP (eventos complejos)
  - - - En resumen, Alluxio funciona como un optimizador de recursos que facilita la conexión entre datos y sistemas de procesamiento, y cada vez se usa más en entornos de Big Data.
        
        Ventajas:
        
        Escalabilidad → trabaja con grandes volúmenes de datos en Hadoop o Spark sin problemas.
        
        Compatibilidad → se integra con distintos lenguajes (R, Python, Java, Scala) y herramientas (Excel, Tableau).
        
        Rapidez → ofrece algoritmos de machine learning optimizados para ser muy rápidos.
        
        Flexibilidad → funciona con diferentes tipos de almacenamiento (S3, HDFS, bases relacionales, NoSQL).
        
        Accesibilidad → es de código abierto y tiene interfaz amigable para científicos de datos.
        
        Variedad de algoritmos → incluye modelos clásicos y avanzados de machine learning listos para usar.
        
        Soporte empresarial → cuenta con la empresa H2O.ai que da respaldo y actualizaciones.
        
        Desventajas:
        
        Curva de aprendizaje → aunque es potente, puede ser complejo de dominar para principiantes.
        
        Limitaciones gráficas → no tiene visualizaciones tan avanzadas como otras herramientas (ej. Tableau o Power BI).
        
        Consumo de recursos → trabajar con big data y modelos pesados requiere bastante memoria y potencia de cómputo.
        
        Dependencia de integración → muchas veces se necesita conectarlo con otros sistemas para aprovecharlo al máximo.
        
        Competencia fuerte → enfrenta rivales como TensorFlow, PyTorch, Spark MLlib, que a veces ofrecen más comunidad o soporte en IA profunda.
    - - Sistemas de almacenamiento (Amazon S3, HDFS).
      - Motores de procesamiento (Spark, MapReduce, Flink).
      - Almacenes de datos (HBase, Presto).
  - - - Conexión a almacenamientos de datos (Amazon S3, HDFS, bases de datos relacionales y NoSQL).
      - Conexión a motores de procesamiento (Spark, Hadoop).
      - Conexión a lenguajes de programación usados en ciencia de datos (R, Python, Scala, Java).
      - Conexión a herramientas de análisis (Excel, Tableau).
      - Un motor de predicción con muchos algoritmos de machine learning.
  - - - Este ecosistema se estructura en tres grandes bloques
        
        Captura del dato
        Almacenamiento del dato
        Analisis del dato
  - - - Gestión de recursos: YARN, MESOS
      - Procesamiento: datos estructurados, streaming, ML, grafos
  - - - Ingesta y gobernanza: NiFi, Sqoop, Falcon
      - Almacenamiento: HDFS, Kudu
      - Bases NoSQL: HBase, Cassandra, Accumulo
      - Procesamiento: MapReduce, Spark, Flink, Hive, Pig
      - Seguridad y gestión: YARN, Knox, Ambari
      - Otros: Solr (búsqueda), Mahout (ML), Giraph (grafos)
- - - - .
        
        Para ampliar sus capacidades respecto a fuentes de datos. Por ejemplo, ex- tendiendo la cantidad de conectores disponibles, que van desde nuevas bases de datos hasta conectividad con sensores y dispositivos incluso en escenarios de edge analytics.
        
        • Para proporcionar flexibilidad en el uso de componentes permitiendo combinar aquellos que son relevantes para el caso de negocio que se está resolviendo. Por ejemplo, capacidad de usar Apache Hadoop, Spark o Flink como motor de ejecución.
        
        • Para proporcionar una arquitectura empresarial, poniendo foco en la se- guridad.
        
        • Para extender la capacidad de gobernanza a conjuntos de datos complejos, lo que supone redefinir las políticas de catalogación e indexación semán- tica de datos.
      - • Soluciones enterprise-ready: son plataformas que cumplen estándares de integración y seguridad, y que permiten responder a una serie de casos de uso específicos.
        • Soluciones ad hoc: plataformas basadas en componentes independientes que es necesario integrar internamente. Es decir, hay diferentes módulos para elegir y frecuentemente cada uno de ellos es una tecnología best of breed. Este segundo escenario está muy ligado al desarrollo de productos y servicios basados en datos. En este punto
  - - - Un nuevo enfoque de arquitectura está emergiendo en el contexto de big data, denominado data lake. Debemos definir este concepto primero.
  - - - • Componentes de datos: consiste en una serie de conectores que permite el acceso a fuentes diferentes de datos (bases de datos, flujos de datos o datos no estructurados), así como a diferentes sistemas de almacenamiento.
      - • Componente de gestión de recursos: se encarga de gestionar las diferen- tes tareas que realiza la plataforma (por ejemplo, trabajos de procesamien- to) y componentes del sistema (clúster y nodos).
      - • Componente de motor de ejecución: se encarga ejecutar los diferentes trabajos de procesamiento y almacenamiento iniciados en el sistema.
      - • Componente de procesamiento: consiste en una serie de componentes que permiten el procesamiento del dato en función de la necesidad de ne- gocio y su forma de tratamiento (en flujo, grafos, consultas o aplicaciones y machine learning).
    - - • Configuración: que permite la parametrización de la configuración del ecosistema.
      - • Seguridad: que permite gestionar la seguridad del dato y del sistema.
      - • Aprovisionamiento: que permite ajustar de manera manual, semiauto- mática y/o automática las necesidades de arquitectura de hardware del sis- tema.
- - - - Hadoop se usa cuando tenemos datos en el rango de Terabytes o Petabytes y expectativas de crecimiento
      - Spark emerge para mejorar las limitaciones de MapReduce. Spark ofrece una API más simple y más fácil de usar
      - Apache Kafka, creado en 2011 por LinkedIn, es un sistema de cola como RabbitMQ o Apache ActiveMQ, pero distribuido y permite trabajar con datos en movimiento
      - Hbase tiene la misma funcionalidad que HDFS pero una gran diferencia: permite modificar los registros guardados
      - Hive permite traducir las consultas SQL en procedimientos MapReduce. Existen componentes similares, como Pig, Impala o SparkSQL.