Please enable JavaScript.
Coggle requires JavaScript to display documents.
Data Engineer ETL Ssr/SR - Coggle Diagram
Data Engineer ETL Ssr/SR
Arquitectura de BD BI
Data WareHouse
alamcena data estructurada
Data Lake
almacena en bruto
Big Data Cloud
Data Lake House
Data Mesh
infraestructura de autoservicio
Azure Data
Synapse analytics
Crear workspace - Recurso
Spark
Entorno de programacion big data
Crear SQL Pool
Dedicado
Se basa en la capacidad asignada previcamente
Se puede detener el servicio
Serverless
No necesita reservar capacidad
(se basa en la cantidad de datos)
Crear Apache Spark Pool
procesar datos a gran escala
desarrollar tus analisis
Conectar con PBI
se agrega desde linked service
Data Factory
ETL
Copy
Data }Flow
Data Bricks
Motor Apache Spark
Storage Account
blob storage
contenedores
Azure Databricks
Apache Spark
Azure Storage
A. Blob Storage
grandes cantidades
datos no estructurados
Contenedores
Tipos Blob:
bloques
almacenar objetos binarios
cambian con poca frecuencia
anexos (APPEND)
optimizado para admitir operaciones de anexión
195 GB. maximo X bloque
no permite la modificación o eliminación
páginas
optimizado para admitir operaciones de lectura y escritura aleatorias
almacenamiento de discos virtuales
Niveles Accesos
frecuente es el predeterminado
para los blobs a los que se accede con frecuencia
Esporádico
poca frecuencia
Archivo
menor costo
mayor latencia
datos históricos
Azure Data Lake Storage Gen2
almacenamiento jerárquico
Azure Files
text
compartido NFS,
recursos compartidos de red basados en la nube
tablas de Azure
NoSQL
elementos de datos de clave-valor
Roles de trabajo DATOs
Administrador
permisos
copias de seguridad
Analista
exploran y analizan
Ingeniero
infraestructura
integración
limpieza de datos
privacidad de los datos
servicios de datos
Azure SQL Database
totalmente administrada hospedada en Azure
Azure SQL Managed Instance
configuración más flexible
más responsabilidad administrativa
mantenimiento automatizado
Máquina virtual de Azure SQL
responsabilidad de administración completa
relacionales de código abierto
MySQL
MariaDB
PostgreSQL
Azure Cosmos DB
no relacional (NoSQL)
Azure Storage
blobs
almacenamiento escalable y rentable para archivos binarios.
archivos
habitual en redes corporativas.
compartido como carpeta de red
Tablas
almacenamiento de clave-valor
Azure Synapse Analitics
Pipelines
SQL
Apache Spark
Azure Synapse Data Explorer:
análisis de datos de alto rendimiento que está optimizada para consultas en tiempo real
telemetría mediante el Lenguaje de consulta Kusto
HDInsight de Azure
clústeres hospedados
macrodatos
Apache
incluye
Apache Spark
Apache Hadoop
MapReduce
Apache HBase
NoSQL
Apache Kafka
procesamiento de flujos de datosrocesamiento de datos
Azure Stream Analytics
motor de procesamiento de flujos en tiempo real
Explorador de datos de Azure
Datos de telemetría
Azure Synapse Data Explorer mismo rendimiento
IoT
Microsoft Purview
mapa de los datos
gobernanza y la detectabilidad
Data Wharehouse
Ralph Kimball
Bill Inmon
Data Vault