Please enable JavaScript.
Coggle requires JavaScript to display documents.
ADQUISICIÓN DE DATOS, image, image, image, image, image, image, image,…
ADQUISICIÓN DE DATOS
Procesamiento e integración
Data Pipeline
Origen
Procesamiento
Transformación
Destino
Almacenamiento
Análisis
ETL vs ELT
ETL
Transforma antes
Volúmenes moderados
Usa servidor intermedio
Tradicional / On-premise
ELT
Transforma después
Grandes volúmenes
Usa el motor de destino
Orientado a la nube
Procesamiento Batch
Datos agrupados
Procesamiento periódico
No necesariamente tiempo real
ELT
Extract → Load → Transform
Extraer
Cargar datos crudos
Transformar posteriormente
Aprovecha capacidad del destino
Procesamiento Streaming
Datos conforme llegan
Tiempo real
Baja latencia
Respuesta inmediata
ETL
Extract → Transform → Load
Extraer
Transformar
Limpiar
Corregir
Organizar
Cargar
Base de datos
Data Warehouse
Arquitectura Lambda
Batch
Speed layer
Capa de servicio
Dos rutas
Arquitectura Kappa
Una ruta
Streaming
Reprocesamiento del histórico
Procesamiento híbrido
4.7 Arquitectura Lambda
Batch
Speed layer
Capa de servicio
Dos rutas
Lambda→ Batch + Streaming
4.8 Arquitectura Kappa
Una ruta
Streaming
Reprocesamiento del histórico
Kappa→ Solo Streaming
Orquestación
Automatización
Coordinación
Programación
Movimiento de datos
Transformación
Control de flujos
Fuentes de datos
Fuentes web
Sitios estáticos
Contenido fijo
Sitios dinámicos
Contenido cambia según usuario o datos
APIs
API = Application Programming Interface
Comunicación entre aplicaciones
Intercambio de datos
Tipos
REST
SOAP
GraphQL
Datos primarios vs. secundarios
Primarios
Se recolectan directamente
Propósito específico
Mayor control
Mayor costo/tiempo
Secundarios
Ya existen
Otra persona/organización los recolectó
Menor costo/tiempo
Se heredan limitaciones
Bases de datos
Relacionales → SQL
Tablas
Relaciones
Esquema rígido
MySQL
PostgreSQL
SQL Server
Oracle
No relacionales → NoSQL
Esquema flexible
MongoDB
Cassandra
Redis
Firebase
Tipos de datos
Estructurados
Tablas
SQL
Excel / CSV
Semiestructurados
JSON
XML
Campos variables
No estructurados
Imágenes
Audio
Video
Texto libre
Sensores e IoT
Captura física
Digitalización
Envío de datos
Flujo continuo
Tiempo real
Archivos y formatos
CSV → tabular
JSON → jerárquico
XML → etiquetas
Parquet → columnar/comprimido
XLSX → hojas de cálculo
Metadatos
Origen y linaje
Estructura y semántica
Condiciones de uso
Contexto de generación
Documentación de datasets
Catálogos
Model tracking
Datos abiertos
Open Data
Repositorios públicos
INEGI
datos.gob.mx
Consulta
Uso
Reutilización
Almacenamiento y arquitecturas
Data Mart
Subconjunto del Data Warehouse
Departamento / área
Ventas
Marketing
Finanzas
Recursos humanos
Consultas rápidas
Schema-on-write vs Schema-on-read
Schema-on-write
Estructura antes de almacenar
Schema-on-read
Datos crudos, estructura al consultar
Data Lakehouse
Data Lake + Data Warehouse
Flexibilidad
Estructura
Datos estructurados
Semiestructurados
No estructurados
Control de calidad
Modelado dimensional
Tabla de hechos
Datos cuantificables
Ventas
Cantidades
Dimensiones
Producto
Cliente
Fecha
Ubicación
Data Lake
Datos crudos
Sin esquema fijo
Multiformato
Grandes volúmenes
Data Swamp
Data Lake mal gobernado
Desorden
Falta de organización
Falta de calidad
Falta de gobierno
Datos difíciles de localizar
Pérdida de confianza
Data Warehouse
Repositorio centralizado
Datos estructurados
Datos modelados
Consultas analíticas
OLAP
Esquema estrella
Esquema copo de nieve
Gobernanza y catálogo
Gobernanza
Políticas
Roles
Procesos
Responsabilidades
Acceso
Calidad
Catálogo
Inventario de datos
Qué existe
Qué contiene
Quién lo produce
Quién lo utiliza
Relación
Catálogo = documentación / visibilidad
Gobernanza = reglas
Nube vs On-Premise
Nube
Servidores remotos
Proveedor externo
On-Premise
Servidores propios
Instalaciones de la empresa
Desafíos en la adquisición
Limitaciones de acceso
Autenticación
API Keys
Tokens
Usuario/contraseña
Rate Limits
Límite de peticiones
HTTP 429
Paywalls
Hard
Soft/Metered
Freemium
Aspectos legales
Términos de servicio
Licencias
Protección de datos
Permisos de uso
Restricciones de distribución
Heterogeneidad
Formato
CSV
JSON
XML
Binarios
Esquema
Nombres de campos
Tipos
Unidades
Granularidad
Semántica
Riesgo
Integración incorrecta
Sesgo de muestreo
Muestra no representativa
Exclusión de grupos
Sesgo desde el origen
Conclusiones erróneas
Datos faltantes desde el origen
Fallas de sensores
Omisiones
Fallas de sistemas
Respuestas no proporcionadas
Escalabilidad
Vertical / Scale-up
Máquina más potente
Menor complejidad
Límite físico
Horizontal / Scale-out
Más máquinas
Mayor capacidad
Sistemas distribuidos
4 V de Big Data
Volumen → cantidad
Velocidad → rapidez
Variedad → formatos/fuentes
Veracidad → confiabilidad
Latencia y disponibilidad
Latencia→ tiempo entre captura y disponibilidad.
Disponibilidad→ porcentaje de tiempo que la fuente está accesible.
Tiempo real→ generalmente latencia menor a un segundo.
Introducción a la obtención de datos
Adquisición como disciplina
Diseño de captura
Muestreo
Instrumentación
Protocolos
Independiente del modelado
Calidad de datos
Exactitud
Completitud
Consistencia
Actualidad
Validez
Ciclo de vida del dato
Generación
Captura
Almacenamiento
Procesamiento
Análisis
Visualización
Implementación
Archivo
Garbage In → Garbage Out (GIGO)
Datos incorrectos
Datos incompletos
Duplicados
Inconsistentes
Resultados poco confiables
Jerarquía DIKW
Dato → Información → Conocimiento → Sabiduría
Ejemplo
35 °C
→ Temperatura actual de 35 °C
→ Temperatura elevada
→ Buscar un lugar fresco e hidratarse
Obtención, captura y recolección
Captura
Detección de eventos
Tiempo real
Recolección
Generación de nuevos datos
Encuestas / sensores / experimentos
Obtención de datos
Integración de fuentes externas e internas
Data Lake / Data Warehouse
