Please enable JavaScript.

Coggle requires JavaScript to display documents.

BIG DATA, DOCKER, HADOOP, Paradigmas de Operación Spark, Procesamieno…

- - - - reducción de costo
        
        Gobernanza del dato
        
        Gestión del dato como activo empresarial
        
        Velar por la calidad del dato
        
        Objetivos estratégicos
        
        Ventajas
        
        Aumento de los ingresos
        
        La confianza
        
        Mitigación de riesgos
        
        evita despilfarros
        
        apoyo a los programas empresariales
        
        Difusión de conocimiento
        
        Monetización
      - Mejor toma de decisiones
      - Nuevos productos y servicios
- - - - Asegurar consistencia y exactitud de los datos
      - Eliminan redundancia
  - - - No soporta el esquema relaciona ni las propiedades asociadas a
        
        ACID
        
        Atomicidad
        
        Se realizan todas las acciones o ninguna
        
        Consistencia
        
        Cada transacción preserva integridad
        
        Aislamiento
        
        Una transacción no puede afectar a la otra
        
        Durabilidad
        
        Persistencia en los datos luego de un COMMIT
      - Soporta propiedades
        
        BASE
        
        Básicamente disponible
        
        Responde a cada solicitud
        
        Soft State
        
        El Estado del sistema puede cambiar con el tiempo
        
        Consistencia Eventual
        
        El sistema es "eventualmente" consistente luego de recibir todos los datos
      - Tipos de motores de Bases de Datos
        
        Base de datos de Grafos
        
        NEO 4J
        
        Orientada a Grafos
        
        Transaccional
        
        Bases de datos de documento
        
        Couch DB
        
        Mongo DB
        
        Distribuida
        
        Basada en Documentos
        
        Similares a los Json
        
        Campos "Field" y pares valores "Value pairs"
        
        Base de datos columnar
        
        Base de datos clave-valor
        
        Big Table
        
        HBase
        
        Filas y columnas
        
        HDFS
        
        Cassandra
        
        Híbrido
        
        Valores Clave-Valor y columnas
  - - - Propiedades
        
        Consistencia
        
        Disponibilidad
        
        Tolerancia a particiones
- - - - Contenedores
        
        Entornos de ejecución aislados y ligeros
        
        Encapsulan una aplicación
        
        Imagen
- - - - Líneas de Comandos
- - - - Hue
        
        (Hadoop User Experience)
        
        Interfaz web que permite ejecutar consultas SQL
      - Crea infraestructura de tipo Data Werehouse sobre hadoop
        
        Asigna estructura tabular (metadata) a datos en bruto en HDFS
    - - External
        
        Metadata para un path de HDFS
        
        NO administrado por Hive
        
        Se debe agregar "EXTERNAL" y específicar el path de HDFS en la sección "LOCATION"
        
        DROP TABLE
        
        Elimina metadata pero no los datos
      - Manageg
        
        Path dentro de HDFS
        
        Administrado por Hive
        
        Ruta
        
        DROP TABLE
        
        Elimina metadata y los datos
    - - Además de datos comunes
        
        Array
        
        Conjunto de valores del mismo tipo en una sola variable
        
        Usa Indice
        
        Map
        
        Diccionario, Tabla hash o asociación
        
        Clave-Valor
        
        Struc
        
        Diferentes tipos de datos en una sola unidad (enteros, caracteres, etc)
        
        Tipo tabla
    - - CSV
        
        Para datos en bruto
      - Parquet
        
        Para datos procesados
      - AVRO
        
        Para serialización de datos estructurados
        
        (Estructura Binaria)
      - Json
        
        Java Script Objet Notation
    - - Forma de dividir una tabla
        
        Parecido a una estructura de carpetas
        
        Permite consultas mas eficientes
    - - Serializer / Deserializer
      - Permite interpretar diferentes formatos
        
        AVRO
        
        RegeX
        
        ORC
        
        CSV
        
        Json
        
        Parquet
  - - - .
        
        MapReduce es más lento que Spark
      - con
        
        RDD
        
        (Resilient Distribuited Dataset)
    - - Reconstrucción
    - - Spark Core
    - - Basado en dos Abstracciones
        
        RDD
        
        Resilient
        
        Recomponer particiones
        
        Distribuited
        
        Los datos residen en varios nodos
        
        Dataset
        
        Registro de los datos
        
        Soporta solo dos tipo de operaciones
        
        Transformaciones
        
        Crear un nuevo RDD a partir de uno ya existente
        
        Acciones
        
        Retornan un valor al driver de la aplicación
        
        DAG
        
        (Directed Acyclyc Graph
      - Capas bien definidas
        
        Los componentes están relacionados con extensiones y librerías
    - - Spark SQL
      - Catalyst Optimizer
        
        Mejorar rendimiento de operaciones y procesos
      - Spark MLlib
        
        Librería Machine Learning
        
        Implementan algoritmos de ML
        
        Clustering
        
        Regresión
        
        Filtrado Colaborativo
        
        El WorkFlow ML incluye
        
        Estandarización
        
        Normalización
        
        Algebra lineal
        
        Hashing
        
        Estadística
      - Spark Graph X
        
        Motor de análisis de Grafos
      - Spark Streaming
        
        Procesamiento en flujos en forma escalable, rápida y tolerante a fallos
        
        Posible fuente de datos
        
        Kafka
        
        Divide los "Streamer" en pequeños "batches"
        
        La data procesada se almacena en el file system
        
        Puede operar con vario algoritmos
        
        Trata a cada "Batch" datos como RDD y los procesa
    - - Air Flow
        
        Plataforma de gestión de flujo de trabajo
        
        Las tareas y dependencias se representan como DAG´s
        
        los DAG´s pueden ser programados
        
        En función de la ocurrencia de eventos
        
        Ejecutarse en un horario específico
      - Nifi
        
        Automatizar flujos de datos entre sistemas
        
        Interfaz web que permite crear flujos sin necesidad de escribir códigos
      - Oozie
        
        Sistema de programación de workflow
        
        Incluido en distribuciones Hadoop
      - Notation Cron
        
        Administrador regular de procesos en segundos planos
        
        Cada minuto, dia, semana, mes
  - - - Utiliza patrón productor-consumidor
        
        Componentes
        
        Topics
        
        Categoría para los mensajes
        
        Producer
        
        Se suscriben a topics (mensajes)
        
        Brokers
        
        Nodos que forman el Cluster
- - - - Cómputos del Cluster y ejecución de aplicaciones
  - - - Cluster de Servidores
      - 1 Master Node
        
        Name Node
        
        Almacenan información relevante y puntual de cada Data Node
      - Muchos Worker Nodes
        
        Data Nodes
    - - Unidad Fundamental de almacenamiento en HDFS
        
        Para conocer la cantidad de bloques
        
        Tamaño del archivo / tamaño del bloque
        x Factor de réplica
- - - - Devuelve un valor booleano