Please enable JavaScript.
Coggle requires JavaScript to display documents.
Extracción de información (Control de calidad (Conteo de Registros, Check…
Extracción de información
Control de calidad
Conteo de Registros
Check Sum
Parametrización - full / incremental
Duración de ingestión
Diagnostico
Agrupación de campo fecha
conteo total de registros Destino
Identificación de campo númerico Destino
sumatoria de campo númerico (Destino)
*
verificación de decimales
*vericar cantidad de Nulls x columna
si el conteo registro destino == 0
Obtención de media de cantidad de registros (-10:0)
Media de cantidad de registros (últimas ingesta, LZ)
Comparación de la cantidad de datos media
P-TEST > 0.95
Incremental
P-TEST < 0.95
Full
Recolectar información
Identificación de errores
Identificación de campo fecha de Destino
Encontrar Nombre del flujo de la tabla
Analizar Sqoop
apuntar a la base de datos "resultados"
v_detalle_flujos_oozie
Extraer duraciones
valor > media
*definir cuantos Bytes se transmitieron y dividirlo por tiempo
Error A
Base de datos
Canal
Sqoop == KILLED
Error de ingesta
Sqoop == SUCCEDED
Obtencion de media p-test X%
valor < media
Error B
1 more item...
valor == media
OK
Conteo completo de registros en Origen destino???????(1er ingesta)
Identificación de campo númerico Origen (el mismo que el campo númerico destino)
Sumatoria campo númerico Origen
Sum_Destino == Sum_Origen
es menor de 10,000
Consideración de ejecución de queries
Extraer de inventario
extraer Tipología de ingesta ( FULL/INCREMENTAL)
COMPARAR
si es =?
OK diseño de ingesta
extraer periodicidad
dar VoBo de la periodicidad-tipologia de ingesta y un por qué
Ubicación Física
Ubicación de Red
Cantidad de variables y tipos
tablas
sufre de Update/Delete/Insert?
NO
INCREMENTAL
SÍ
FULL
Negocio conoce las tablas del proyecto analítico?
SÍ
Periodicidad de uso
Se consume la data a diario (determinado por área funcional del modelo)
NO
Periodicidad de uso
La estructura depende de la peridocidad
NO
Perdida de información en el dato
2 more items...
SÍ
CHECKLIST
Conteo de grupos
Conteo de registros
Sumatoria de campo numerico
Andrés Santiago
Que tipo de consulta se debería de realizar para conocer los tipos de datos que tiene una tabla
Código de colores
Diagnotico de Control de calidad
Diagnostico de la naturaza de la tabla
Condición
Error
Patron de error
OK
Linea
linea
Línea
DIARIA
SEMANAL
MENSUAL
QUINCENAL
FECHA DE INGESTION
BAM
BC
HORA DE INGESTIÓN
METODO DE CONTINGENCIA
TI
Arquitectura
NEGOCIO
Volumen de ingesta (MB)
Analítica