Please enable JavaScript.

Coggle requires JavaScript to display documents.

Arquitectura y ecosistemas de big data, image, image, image, image, image,…

- - - - Ingestión de datos: Kafka, Logstash, Kinesis.
        
        Formato de datos: Avro, Parquet, ProtoBuf.
        
        Almacenamiento distribuido: HDFS, S3, Azure, Ceph.
        
        Procesamiento batch: Spark, Hadoop, Flink.
        
        Procesamiento streaming: Storm, Spark Streaming, Flink.
        
        Bases de datos:
        
        Analíticas (Redshift, Vertica).
        
        Grafos (Neo4j).
        
        Transaccionales (MySQL, PostgreSQL).
        
        Documentos (MongoDB).
        
        Series temporales (InfluxDB).
        
        Búsqueda (ElasticSearch, Solr).
        
        Caché (Redis).
        
        Visualización: Tableau, Kibana, D3.js.
        
        Gestión: Docker, YARN, Mesos (clústeres); Airflow, Luigi (tareas); Sentry, Knox (seguridad).
    - - Enterprise-ready: plataformas completas, seguras y estandarizadas.
      - Ad hoc: integración de componentes best of breed (lo mejor de cada tecnología) para casos específicos.
- - - - Está ligado a un programa de gobernanza del dato que incluya: Catalogo, Auditoria, Trazabilidad, Control de calidad, Control de acceso y Gestión de metadatos.
      - Se deben realizar un análisis en base a las siguientes tres preguntas:
        
        Estratégica: ¿Es una oportunidad estratégica para la organización?
        
        Accionable: ¿Puede el negocio apalancarse sobre el conocimiento generado?
        
        Factible: ¿Superan los beneficios a los costes?
        
        Arquitectura Generica:
- - - - Apache Spark es una plataforma open source para el procesamiento de datos que nace para superar las limitacion de MapReduce basado en el paradigma resilient distributed datasets. Estas limitaciones consisten en que MapReduce fuerza a seguir con un proceso lineal de lectura, mapeo, reduccion y almacenamiento del dato en disco, lo que se supone que son latencias de escritura y lectura.
        
        Este ecosistema de apache spark se estructua de la siguiente manera:
    - - Amazon ofrece un ecosistema completo para big data a traves de amazon web services. Este ecosistema se caracteriza por ofrecerse en modalidad cloud computing y tambien en entornos hibridos. Cabe decir que los componentes de este se combinan con los anteriores ecosistemas mencionados. Este ecosistema se estructura en 3 grandes bloques:
        
        Almacenamiento del dato: Hablita el almacenamiento de datos en todo tipo de opciones (NoSQL, sistemas distribuidos, relacionales)
        
        Analisis del dato: Habilita el analisis de datos incluyendo inteligencia de negocios(Quicksight) y machine learning
        
        Captura de dato: Habilita proceso ELT tanto en formato batch como en streming
    - - Apache alluxio se encarga de optimizar el ecosistema de Spark y otros entornos de Big Data, ayudando a la tolerancia a fallos en clústeres solía basarse en replicación de datos, lo que genera alto tráfico de red y limita el rendimiento.
        
        Componentes
        
        Conectores de almacenamiento: Amazon S3, HDFS, etc.
        
        Conectores de procesamiento: Spark, MapReduce, Flink.
        
        Conectores de almacenes de datos: HBase, Presto, entre otros.
    - - Este se basa en machine learning con el objetivo de crear la mejor librería de analítica para big data usando cualquiera de los principales motores de procesamiento
        
        Componentes
        
        Conectores de almacenamiento: Amazon S3, HDFS, bases de datos relacionales y NoSQL.
        
        Conectores de procesamiento: Spark y Hadoop.
        
        Conectores de lenguajes: R, Python, Scala y Java.
        
        Conectores de análisis: Excel, Tableau.
        
        Motor de predicción: incluye múltiples algoritmos de machine learning para análisis y predicción.
    - - Enfoque: Procesamiento distribuido de grandes volúmenes de datos, principalmente en modo batch.
        
        Componentes principales:
        
        HDFS (Hadoop Distributed File System): Sistema de archivos distribuido y tolerante a fallos.
        
        YARN (Yet Another Resource Negotiator): Gestor de recursos y planificador de tareas.
        
        MapReduce: Modelo de programación para procesar datos en paralelo.
        
        Ecosistema ampliado:
        ৹ Hive: Consultas tipo SQL sobre Hadoop.
        ৹ Pig: Lenguaje de alto nivel para procesamiento de datos.
        ৹ HBase: Base de datos NoSQL sobre HDFS.
        ৹ Oozie: Orquestación de flujos de trabajo.
        ৹ Sqoop / Flume: Ingesta de datos desde bases relacionales o flujos de eventos.
        
        Ventajas: Escalabilidad horizontal, tolerancia a fallos, bajo coste en hardware común.
        
        Limitaciones: Latencia alta (no apto para tiempo real puro).
    - - Enfoque: Procesamiento en flujo (streaming) y también batch, con prioridad en tiempo real.
        
        Características clave:
        ৹ Procesamiento de eventos con baja latencia y alta capacidad de throughput.
        ৹ Modelo de streaming nativo (no simulado sobre batch).
        ৹ Soporta event time y stateful computations (mantener estado entre eventos).
        
        Componentes y APIs:
        ৹ DataStream API: Para flujos de datos en tiempo real.
        ৹ DataSet API: Para procesamiento batch.
        ৹ Table API / SQL: Consultas declarativas.
        ৹ Conectores: Kafka, Cassandra, ElasticSearch, etc.
        
        Ventajas: Ideal para analítica en tiempo real, detección de patrones y alertas inmediatas.
        
        Casos de uso: Monitoreo de sistemas, análisis de logs en vivo, detección de fraude, IoT.
- - - - MapReduce: Aplicado a parejas key-value (k-v)
      - Tez: Lectura/Escritura de parejas k-v
      - Spark: Transformaciones en conjuntos de parejas k-v
      - Flink: Transformación iterativa de colecciones de datos
    - - MapReduce: MapReduce.
      - Tez: Directed-Acy-clic-Graph (DAG: Grafo en el que no hay ciclos directos)
      - Spark: Resilient Distributed Datasets (RDD).
      - Flink: Flujos de datos cíclicos.
    - - MapReduce: Ninguna.
      - Tez: Ninguna.
      - Spark: Optimización para consultas SQL.
      - Flink: Optimización para todo tipo de API
    - - MapReduce: Ninguna.
      - Tez: Ninguna.
      - Spark: Procesamiento Batch basado en memoria.
      - Flink: Procesamiento streaming basado en memoria.
  - - - Apache Flink Es similar al spark pero en este caso hay menos empresas con el conocimiento de este.
      - Apache Kafka Es un sistema de cola, pero distribuido y permite trabajar con datos en movimiento.
      - Spark emerge para mejorar las limitaciones de MapReduce. Ademas ofrece un API mas simple y mas facil de usar.
      - Apache Storm permite el procesamiento de apache kafka y aplicar logica de negocio.
      - Hadoop se usa cuando tenemos datos en el rango de terabyte o petabyte y expectativas de crecimiento.
      - Hbase Este tiene una funcionalidad identica que HDFS pero una gran diferencia es de que permite modificar los registros guardado.
      - Hive permite traducir las consultas SQL en procedimientos MapReduce. Cuando el dato es estructurado, hive sera la opcion y cuando no lo sea, Pig