Please enable JavaScript.
Coggle requires JavaScript to display documents.
Arquitectura de Sistemes Big Data - Coggle Diagram
Arquitectura de Sistemes Big Data
Introducció a l'arquitectura Big Data.
Estructura que gestiona dades masives.
Recopilació, emmagatzematge, processament i anàlisis eficients.
Dissenyat per treballar amb grans volums de dades.
Components bàsics de l'arquitectura.
Emmagatzematge de dades
Ús de bbdd
NoSQL
Escalabilitat horitzontal
Cassandra
MongoDB
No estructurades
Data Lakes
Data Warehouses
Amazon Redshift
Google BigQuery
Consultes eficients
Informes
Processament de dades
Transforma i analitza la informació
Apache Hadoop i spark
Processament en Batch
Apache Hadoop
Paradigma MapReduce per processar dades.
Apache Spark es més ràpid i permet processament batch i en temps real (stream).
Processament en Stream
Dades es temps real
Apache flink
Apache storm i kafka Stream per analisis en temps real.
Ingesta de dades
Recollir informació de diverses fonts.
Procés d'ingestió
Dades en temps real
Tecnologies comunes
Anàlisis de dades
Extreure conclusions i insights.
Descriptiva
Resumir les característiques de les dades a través de visualitzacions i informes.
Predictiva
Utilitza patrons identificats en les dades per identificar resultats futurs.
Machine learning
Prescriptiva
Proporciona recomanacions
Presa de decisions informades en temps real.
Eines comunes
Jupyter Notebooks
RStudio
Llibreries de python
Pandas
NumPy
Capacitats de l'arquitectura Big Data
Distribució
Diferents nodes
Dins d'un clúster
Permet processar grans volums de dades de manera eficient.
Tolerància a fallades
les dades han d'estar sempre disponibles o segures davant pérdudes.
Kafka
Tolerancia de falles a través de replicació de missatges.
Escalabilitat
Horitzontal
Afegir més servidors
Múltiples nodes
processament de dades
velocitat d'accés
eines
Hadoop
Sistema de replicació de dades
Les dades es desplacen en diversos nodes
1 more item...
Spark
Vertical
Millorar la potencia dels servidors existents.
Flexibililitat per gestionar l'augment de dades
Baixa latència
Presa de decisions immediates
Accés ràpid
Tipus d'arquitectures Big Data
Lambda Architecture
Capes
Speed
Ofereix preocessament en temps real.
Servei
Combina resultats de batch i speed
Obtenir insights.
Interficie per accedir a les dades procesades.
Batch
Processa dades masives per lots.
Flux de dades
entre les tres capes
permet un análisis robusta del big data
Accepta batch i streaming.
Kappa Architecture
Disenyada per streaming.
No separa batch i temps real
Simplifica l'arquitectura concentrant-se en fluxos de dades.
Seguertat i governança de dades
Seguretat
Protegir la informació davant accesos no autoritzats i ciberamenaces.
Control d'accés
Asseguren que només els usuaris autoritzats tinguin accés a la informació.
Encriptació
Converteix informació clau en un format inintel·ligible.
Auditoria
Es monitoritza l'accés a les dades i com es processen.