Please enable JavaScript.
Coggle requires JavaScript to display documents.
Spark Streaming - Coggle Diagram
Spark Streaming
¿Qué es?
motor de transmisión distribuida
¿Para qué sirve?
ingesta de datos en steraming
ejemplos
actualización de datos para servirlos en real time
extraer, transformar y cargar (ETL
movimiento continuo + transformación de datos
migración BD --> BD
version en real time de un trabajo por lotes
ML en línea
¿Cómo funciona?
flujo contínuo de datos
cada RDD representa un intervalo
secuencias continuas de RDD
admite control de puntos
recuperación en caso de fallo
operaciones de ventana
acceso a diferentes dataset a la vez
parámetro de intervalo deslizante
cantidad de datasets que se omiten cuando se procesa la ventana
longitud de ventana
determina cantidad de datasets a los que se tiene acceso
orientado a trabajo por lotes
recibe minilotes (ventana e intervalo)
convierte a RDD