Please enable JavaScript.

Coggle requires JavaScript to display documents.

Arquitecturas y ecosistémas de BigData - Coggle Diagram

- - - - Data warehouse: repositorio central de información para la toma de decisiones.
      - Metadatos: relacionados con la gestión, catalogación y explotación de datos.
      - Integración de datos: captura, procesamiento y distribución.
      - Otros componentes: data marts (subconjuntos del almacén), almacenes especializados (minería, exploración, operacional para respuestas rápidas) y staging area (caché temporal no persistente).
  - - - Ampliar capacidades para nuevas fuentes de datos (bases de datos, sensores, edge analytics).
      - Mayor flexibilidad al usar diferentes motores de ejecución (Hadoop, Spark, Flink).
      - Enfoque en arquitectura empresarial y seguridad.
      - Extensión de la gobernanza a datos complejos, redefiniendo políticas de catalogación e indexación semántica.
- - - - • Estratégica: ¿Es una oportunidad estratégica para la organización?
      - • Accionable: ¿Puede el negocio apalancarse sobre el conocimiento generado?
      - • Factible: ¿Superan los beneficios a los costes?
- - - - • Componentes de datos: consiste en una serie de conectores que permite el acceso a fuentes diferentes de datos
        
        • Componente de gestión de recursos: se encarga de gestionar las diferen- tes tareas que realiza la plataforma
        
        • Componente de motor de ejecución: se encarga ejecutar los diferentes trabajos de procesamiento y almacenamiento iniciados en el sistema.
        
        • Componente de procesamiento: consiste en una serie de componentes que permiten el procesamiento del dato en función de la necesidad de ne- gocio y su forma de tratamiento
        
        A lo largo del tiempo se van ocupando una serie de componentes nuevos com son:
        
        • Configuración: que permite la parametrización de la configuración del ecosistema.
        
        • Seguridad: que permite gestionar la seguridad del dato y del sistema.
        
        • Aprovisionamiento: que permite ajustar de manera manual, semiauto- mática y/o automática las necesidades de arquitectura de hardware del sis- tema.
        
        Ejemplos de ecosistemas
        
        • SMACK: hace referencia a una combinación de componentes en la que se considera que cada dato es un evento
        
        Spark (data processing), Mesos (cluster resource management), Akka (message-driven app toolkit), Cassandra (storage engine) y Kafka (event-processing framework).
        
        • PANCAKE STACK: hace referencia a una combinación de componentes en la que el foco es un sistema de recomendaciones
        
        Presto, Arrow, Nifi, Cassandra, Airflow, Kafka, ElasticSearch, Spark, Tensorflow, Algebird, CoreNLP y Kibana.
    - - 4.4.6 Amazon
        Amazon ofrece un ecosistema completo para big data a través de Amazon Web Services. Este ecosistema se caracteriza por ofrecerse en modalidad cloud com- puting y también en entornos híbridos.
        
        • Captura del dato: que habilita proceso ELT tanto en formato batch como en streaming.
        
        • Almacenamiento del dato: que habilita el almacenamiento de datos en todo tipo de opciones.
        
        • Análisis del dato: que habilita el análisis de datos incluyendo inteligencia de negocio.
      - 4.3.5 H2O H20 es un ecosistema focalizado en machine learning. El objetivo es crear la mejor librería de analítica para big data usando cualquiera de los principales motores de procesamiento (Hadoop y Spark).
        Se esctructura de la siguiente manera:
        • Conectores a diferentes sistemas de almacenamiento de datos, como Ama- zon S3, HDFS y cualquier base de datos relacional o NoSQL.
        • Conectores a diferentes motores de procesamiento de datos, como Spark o Hadoop.
        • Conectores a diferentes lenguajes de programación o de computación es- tadística, como R, Pyhton, Scala y Java.
        • Conectores a herramientas de análisis, como Excel o Tableau.
        • Motor de predicción, con foco en la inclusión de múltiples algoritmos.
      - 4.3.4 Apache Alluxio
        
        propone una alternativa para minimizar la replicación consistente en crear un log con todos los cambios de cada registro de fácil acceso y solo una máquina del clúster trabaja. En el caso de error, Alluxio recupera los cambios del log y trabaja con otro servidor, lo que reduce la cantidad de datos en movimiento en el clúster y busca apalancarse en la potencia de procesamiento.
        
        Componentes
        
        • Conectores a diferentes sistemas de almacenamiento de datos, como Ama- zon S3 o HDFS.
        
        • Conectores a diferentes motores de procesamiento de datos, como Spark, MapReduce o Flink.
        
        • Conectores a diferentes almacenes de datos, como Hbase o Presto.
        
        Ecosistema
      - 4.3.3. Apache Flink
        
        Apache Flink es una plataforma open source para el procesamiento de datos en modalidad batch y streaming. El enfoque es considerar que todo son flujos y que el procesamiento batch es un caso particular. Flink soporta escenarios que necesitan capturar y analizar datos por debajo del segundo.
        
        Componentes:
        
        DataStream API, para procesamiento en streaming, con soporte para Java y Scala.
        DataSet API, para procesamiento batch, con soporte para Java, Scala y Pyt- hon.
        
        Librerías
        
        • Table API, que soporta expresiones similares a SQL embebidas en Java y Scala.
        
        • Flink ML, librería de machine learning.
        
        • Gelly, librería de procesamiento de grafos.
        
        • CEP, para el procesamiento de eventos.
        
        Ecosistema
      - 4.3.2 Apache Spark
        
        plataforma open source para el procesamiento de datos que nace para superar las limitaciones de MapReduce basado en el paradigma resilient distributed datasets (RDD). Estas limitaciones consisten en que MapRe- duce fuerza a seguir un proceso lineal de lectura, mapeo, reducción y almace- namiento del dato en disco, lo que supone unas latencias de escritura y lectu- ra.
      - 4.3.1 Apache Hadoop
        
        Plataforma open source escrita en Java para el procesa- miento y almacenamiento de datos distribuidos de grandes volúmenes de da- tos sobre clústeres de servidores