Please enable JavaScript.

Coggle requires JavaScript to display documents.

VISIÓN POR COMPUTADOR - Coggle Diagram

- - - - Es el proceso de descubrir lo que está presente en el mundo y donde está, a partir de imágenes del mismo
    - - Métodos para adquirir, procesar, analizar y comprender las imágenes del mundo real con el fin de producir información numérica o simbólica para que puedan ser tratados por un computador
      - Comprensión de la imagen (IA)
        
        Modalidad sensora de la robótica
        
        Emulación de la vista humana
        
        Inverso a los gráficos por computador
    - - Es un proceso complejo mediante el cual los seres vivos interpretan y organizan la información sensorial que reciben del entorno.
      - La percepción abarca tanto las sensaciones inmediatas como los procesos cognitivos que permiten reconocer, clasificar e interpretar lo que se percibe
      - Este proceso no se limita a la simple recepción de estímulos a través de los órganos sensoriales, sino que involucra la interpretación activa de dichos estímulos para generar una comprensión coherente y significativa del mundo
    - - En muchas ocasiones, las personas experimentan ilusiones perceptivas o distorsiones en su percepción debido a errores en la interpretación de los estímulos.
      - Por ejemplo las ilusiones ópticas juegan con las limitaciones del sistema visual para crear efectos que desafían la realidad objetiva
      - Es importante destacar que la percepción no siempre refleja la realidad objetiva
    - - Procesamiento Retinal
      - Los impulsos electricos viajan a través del nervio óptico hacia el cortéx visual
      - Una vez ahí las primitivas visuales se procesan en paralelo.
      - Fotorreceptores
        
        Conos
        
        7 millones
        
        Responsables de la visión en condiciones de altos niveles de luz
        
        Permiten distinguir detalles finos, brillo y colres
        
        Bastones
        
        100 millones
        
        Son más numerosos y sensibles a bajo nivel de luz lo que permite la visión nocturna
        
        No detectan el color, solo blanco y negro
  - - - Una imagen es una representación de la realidad 3D proyectada en un plano 2D, que utiliza un proceso de selección y omisión
      - Las imágenes pueden percibirse de manera distinta dependiendo del observador y el contexto
    - - Las cámaras digitales sustituyen al ojo humano, capturando imágenes mediante sensores CCD o CMOS (Conos y bastones)
      - Medio repetible, portable y reproducible. Donde esté el medio digital estará la imagen
      - Un pixel es la unidad mínima de una imagen digital, representando la intensidad de luz en un punto
    - - La resolución de una imagen está determinada por el número de píxeles y la profundidad de color (bits por píxel)
      - Color a nivel de gris
        
        Promedio
        
        Calcular el promedio de los valores de los tres canales de color (Rojo, Verde, Azul)
        
        Estándar BT.601
        
        0.299 R + 0.587 V + 0.114 * A
      - Al reducir o escalar una imagen, puede presentarse el efecto de aliasing, distorsionando la imagen
        
        Aliasing
        
        Es el fenómeno general de distorsión que ocurre cuando una señal es muestrada de forma insuficiente
        
        Aliasing Espacial
        
        Se refiere a la distorsión en imágenes o señales espaciales cuando la resolución no es suficiente para capturar detalles finos
        
        Aliasing Temporal
        
        Se refiere a la distorsión en señales de movimiento cuando la frecuencia de muestreo (frames por segundo) es baja y no puede capturar adecuadamente el movimiento rápido
    - - Un histograma muestra la distribución de intensidades de píxeles en una imagen, útil para procesos como la normalización y el umbralizado
    - - Componentes de las cámaras digitales que capturan la luz y la convierten en señales eléctricas para luego transformarlas en imagen digital
      - CCD
        (Charge-Coupled Device)
      - CMOS
        (Complementary Metal-Oxide-Semiconductor)
      - Sensores más avanzados
        
        Cámaras plenópticas
        
        Foveon X3
      - Sensores enfocados en la captura de líneas
        
        Sensores progresivos
        
        Capturan toda la imagen de una sola vez, mayor calidad en escenas con movimiento
        
        Sensores entrelazados
        
        Capturan la imagen alternando entre líneas pares e impares, eficiente en términos de ancho de banda
      - El color del objeto depende de
        
        Espectro de reflectancia
        
        Luz
        
        Sensor
      - Rejilla de Bayer
        
        Filtro de color que se coloca sobre los píxeles, permitiendo la captura de información de color. El sensor no captura el color de cada píxel, interpola a partir de los colores adyacentes
      - Balance de blancos
        
        Corrección que se aplica a la imagen para garantizar que los colores se vean naturales bajo diferentes condiciones e iluminación
      - Problemas de los sensores
        
        Ruido
        
        Introducción de errores o distorsiones no deseados en la imagen
        
        Aberraciones cromáticas
        
        Desenfoque de colores
        
        Resolución limitada
        
        Limitación de detalles que se pueden capturar
        
        Falsos colores
        
        Colores incorrectos en los bordes de objetos o patrones repetitivos (producido por rejilla de Bayer)
        
        Moiré
        
        Patrón de interferecncia
    - - RGB
        
        RED-GREEN-BLUE
      - HSV
      - CIE
      - YCbCr
      - Lab
      - Monocromático inicialmente
    - - La luz reflejada atraviesa la cámara y llega al sensor, que convierte la imagen óptica en una señal eléctrica digital
        
        Caja oscura
        (Cámara oscura)
        
        Dispositivo simple que se utiliza para proyectar imágenes
        
        Caja completamente cerrada con un pequeño agujero en uno de sus lados
        
        La luz entra a través del agujero y proyecta una imagen invertida de la escena en la pared interna opuesta de la caja
        
        Pin hole
        
        Pequeño agujero en una de las paredes dela cámara oscura
    - - Las cámaras utilizan modeles como la camara obscura y la pin hole para capturar imágenes
      - La proyección de una imagen 3D a 2D elimina información, lo que puede dar lugar a distorsiones de perspectiva
    - - Parámetros de la cámara
        
        Extrínsecos
        
        Traslación
        
        Rotación
        
        Intrínsecos
        
        Óptica
        
        Geometría
        
        Digital
    - - Elementos ópticas que refractan (desvían) la luz para formar una imagen
      - Ejemplos de lentes
        
        Lente delgada
        
        Lente idealizada, con grosor despreciable que enfoca la luz en un punto
        
        Se utiliza para simplificar los cálculos en óptica
        
        Lente radial
        
        Lente que puede corregir aberraciones radiales
        
        Lente ojo de pez
        
        Lente ultra gran angular que captura un campo de visión muy amplio, generalmente 180 grados
        
        Lente 360 grados
        
        Lentes que capturan imágenes panorámicas completas en todas las direcciones combinando imágenes de múltiples lentes
      - Problemas comunes de las lentes
        
        Desenfoque
        
        Solo un plano de la imagen puede estar perfectamente enfocado
        
        Profundidad de campo
        
        Es el rango de distancia en el cual los objetos de la escena aparecen nítidos
        
        Aberración cromática
        
        Es un problema donde diferentes colores de luz se enfocan en diferentes puntos debido a la refracción desigual de las longitudes de onda
  - - - Tipos
        
        Puntuales
        (dependen solo del valor de cada píxel individual)
        
        Aditivos/Sustractivos
        
        Permiten aclarar u oscurecer la imagen sumando un valor constante a los píxeles
        
        Inversión
        
        Invierte los valores de los píxeles
        
        Producto
        
        Multiplica los valores de los píxeles para cambiar el contraste
        
        Combinación de imágenes
        
        Se pueden sumar imágenes o hacer combinaciones ponderadas utilizando un valor de α (α-blending)
        
        Figura y fondo
        
        Separación por planos de color utilizando mascaras y planos de colores
        
        Umbralizado
        
        Convierte una imagen a binaria asignando a cada píxel un valor de blando o negro dependiendo si supera un umbral determinado
        
        Se usa para separar figuras del fondo
        
        Se puede usar el OTSU para que este determine el valor del umbral
        
        Ecualizado del histograma
        
        Se mapean los niveles de intensidad para obtener un histograma más plano, es decir, que las intensidades estén más uniformemente distribuidas
        
        Locales (Filtrado)
        (Dependen de los calores de los píxeles vecinos)
        
        Filtros lineales
        
        Involucran la convolución de la imagen con un kernel (máscara de convolución), donde se aplica una suma ponderada de los píxeles vecinos
        
        Los efectos de borde (padding) se refieren a como se manejan los bordes de una imagen
        
        Correlación 2D
        
        Proceso que compara una imagen con un kernel (matriz pequeña) para determinar qué tan similar es la región de la imagen a este kernel
        
        Convolución 2D
        
        Similar a la correlación pero antes de aplicar el kernel, este se refleja (ser invierte)
        
        Propiedades de la convolución
        
        Conmutativa
        
        Asociativa
        
        Identidad
        
        LSIS (Linear Shift Invariant System)
        
        Los sistemas lineales e invariantes al desplazamiento son aquellos en los que las combinaciones de las entradas equivalen a combinaciones en la salida
        
        Esto significa que si la entrada se desplaza en una dirección, la salida también se desplazará en la misma dirección
        
        Filtrado Gaussiano
        
        Suaviza la imagen eliminando las frecuencias altas
        
        El filtro Gaussiano es separable lo que significa que la operación de convolución en 2D se puede descomponer en dos convoluciones unidimensionales 1D
        
        Filtros Sobel y Laplaciano
        
        Primero ha de aplicar una Gaussiana
        
        Sirven para la detección de bordes
        
        El filtro de Sobel detecta bordes direccionales
        
        El Laplaciano encuentra bordes locales relevantes mediante la Segunda derivada
        
        Imagen integral
        
        En lugar de contar uno por uno los píxeles de una región, te prepara la tabla con sumas acumuladas.
        
        Filtros no lineales o no convolutivos
        
        Filtro de mediana
        
        Ordena los valores de los píxeles vecinos y selecciona el valor central
        
        Útil para eliminar ruido "sal y pimienta"
        
        Filtrado percentil
        
        Generaliza la mediana. Ordena vecindad y toma el valor de la posición percentil
        
        Filtrado bilateral
        
        Suaviza la imagen manteniendo los bordes
        
        Imagen binaria
        
        Imagen digital donde cada píxel solo puede tener dos posibles valores
        
        0: píxel negro (fondo)
        
        1: píxel blanco (figura y objeto)
        
        Esto añade
        
        Simpleza
        
        Usos
        
        1 more item...
        
        La umbralización es una técnica común para convertir una imagen digital a binaria
        
        Se le pueden llegar aplicar algunos filtros tales como
        
        Utilizar operaciones morfológicas para modificar la forma de los objetos mediante dilatación, erosión, apertura y cierre
        
        Utilizar la transformada distancia para calcular la distancia de cada píxel al borde mas cercano
        
        Pirámides
        
        Estructuras de múltiples versiones de una imagen a diferentes niveles de resolución
        
        Una pirámide de imágenes se construye generando versiones más pequeñas o mas grandes.
        
        En el nivel más bajo de la pirámide está la resolución original
        
        Reducir resolución (Downscaling)
        
        Se aplican filtros como el gaussiano evitando el aliasing
        
        Aumentar la resolución (Upscaling)
        
        Se utilizan técnicas de interpolación para rellenas los espacios
        
        Tipos de interpolación en OpenCV
        
        INTER_NEAREST
        
        Vecino más cercano
        
        INTER_LINEAR
        
        Bilineal
        
        INTER_CUBIC
        
        Bicúbica
        
        INTER_LANCZOS
        
        Interpolación por lanczos (para alta calidad)
        
        Geométricos
        
        Afectan a la geometría de la imagen
        
        Transformaciones paramétricas
        
        Controladas por un conjunto de parámetros
        
        Transformaciones basadas en mallas
        
        Controlan la deformación de la imagen a nivel local
    - - Aplicada a imágenes, mapea la respuesta en amplitud y fase a cada frecuencia, lo que facilita la manipulación de frecuencias en el espacio de la imagen
      - Se utiliza para el filtrado en el dominio de frecuencias y es base de compresiones como JPEG
      - Aplicación a imágenes
        
        Analizar su contenido en términos de frecuencias espaciales
        
        En lugar de trabajar con píxeles se trabaja con la información de frecuencia, lo que permite detectar patrones y estructuras repetitivas
      - Filtros en el dominio de frecuencias
        
        Eliminar detalles no deseados, por ejemplo ruido
        
        Tras filtrar, se puede usar la transformada inversa de Fourier para regresar al dominio de la imagen
- - - - Detección de características y encaje (matching)
      - Fundamental en múltiples aplicaciones VC
      - Puntos, esquinas, líneas, contornos y parches (patches)
      - Aplicaciones
        
        Detección de elementos y formas
        
        Alineamiento/encaje de imágenes desde puntos o líneas
    - - ¿Qué es un punto de interes?
        
        Presencia de elementos singulares/característicos
        
        Extremos
        
        Cambios de dirección
      - Aplicaciones
        
        Alineamiento de imágenes
        
        Calibración de cámara
        
        Encaje estéreo
        
        Reconocimiento de patrones
        
        Stiching de imágenes (mosaicos)
        
        Consulta de imágenes (image retrieval)
        
        Seguimiento
        
        Estabilizado de vídeo
      - Buen punto de interés
        
        Correspondencia de puntos
        
        Detectar en una imagen
        
        Detectar en imágenes, encajar en base a apariencia local
      - Proceso
        
        Etapas
        
        Detección
        
        Localizar puntos de interés
        
        Características
        
        Distintivos
        
        Cada elemento único
        
        Repetible
        
        Localizable en múltiples imágenes, aún con variaciones geométricas y fotométricas
        
        Compacidad
        
        Descripción reducida << que la imagen
        
        Eficiencia
        
        Al comparar/encajar
        
        Un punto de interés presenta cambios en su entorno
        
        Variaciones de intensidad en la vecindad
        
        Estabilidad local frente a pequeños desplazamientos
        
        Buenos puntos
        
        Esquina
        
        gradiente local con dos direcciones dominantes
        
        Esquinas repetibles y distintivas
        
        Estabilidad apariencia local
        
        Harris
        
        Técnica para localizar esquinas (1988)
        
        Explora vecindad del píxel
        
        Interesan E(u,v) con diferencias
        
        Alto coste, aproxima E(u,v)
        
        Aproximación local superficie SSD
        
        Expansión con serie de Taylor
        
        Función como serie infinita de sus derivadas en un punto
        
        Cálculo de M en cada píxel
        
        Gaussiana
        
        Gradientes Ix e Iy
        
        Componentes de M
        
        Calcular S
        
        Desechar valores pequeños
        
        Eliminar redundancias en cierto r
        
        Invarianza a traslaciones, rotaciones y cambios de brillo
        
        Descripción
        
        Caracterizar puntos de interés
        
        Tras localizar puntos singulares, describir para encajarlos
        
        Posibilidades de descripción
        
        Plantilla
        
        Histograma
        
        Descriptores
        
        Binary Robust Independent Elementary Features (BRIEF)
        
        A Fast Local Descriptor for Dense Matching (DAISY)
        
        Gradient location-orientation histogram (GLOH)
        
        Scale Invariant feature transform (SIFT)
        
        Invariante a cambios de escala
        
        Textura como distribución de diferencias de la imagen
        
        Orientación gradiente dominante en la vecindad
        
        Cálculo del punto de interés en pirámide
        
        Histograma local de gradientes
        
        Ventana 16x16 (amarilla) en puntos de interés (rojos)
        
        Magnitud y orientación del gradiente por píxel
        
        Ponderado con Gaussiana
        
        Discretiza a 8 orientaciones (bins)
        
        4x4 histogramas
        
        128 valores positivos
        
        Normaliza para reducir efectos de contraste, ganancia
        
        Satura gradientes > 0.2
        
        Parte de puntos de interés
        
        Gradientes, orientación dominante
        
        Normaliza orientación
        
        Gradiente, invarianza intensidad
        
        Orientación dominante en 16x16 para invarianza
        
        Discretiza orientaciones
        
        Textura depende de vista, histograma para invariazna
        
        Satura gradiente evitando brillos/destellos
        
        Múltiples escalas
        
        PCA-SIFT
        
        RootSIFT
        
        Bias and gain normalization (MOPS)
        
        Orientated FAST and Rotated BRIEF (ORB)
        
        Speeded-Up Robust Features (SURF)
        
        Encaje
        
        Determinar la correspondencia
        
        Descriptores SIFT, 128 valores
        
        Distancias entre los puntos de dos imágenes
        
        Menor distancia
        
        Vecino más cercano
        
        Evaluación (scores)
        
        Verdadero positivo: Encaje correctos
        
        Falso negativo: Encajes no detectados
        
        Falso positivo: Encajes incorrectos
        
        Verdadero negativo: No encajes bien rechazados
        
        Matriz de confusión
        
        Dada una distancia decidir si hay encaje o no
        
        Umbral de decisión (θ)
        
        Elección no exenta de problemas
        
        Receiver operating characteristic (ROC) enfrente TPR a FPR
        
        Comparativa de modelos con curva ROC
        
        Distancia euclídea
        
        No la única
        
        Elección independiente del problema
        
        Distancia entre vectores de características
        
        Distancia de Minkowski
        
        Distancia de Mahalanobis
        
        Similitud coseno
        
        Coseno del ángulo formado entre dos vectores
        
        Comparación de histogramas de n bins, en OpenCV
        
        Correlación (1 idénticos)
        
        Chi-square (0 idénticos)
        
        Intersección (mayores o similares)
        
        Bhattacharyya (0 idénticos)
        
        Encajes no coherentes, outliers
        
        Método RANSAC (random sample consensus):
        
        Escoger par(es) aleatoriamente
        
        Contar inliers
        
        Repetir proceso
        
        Repeticiones según número de muestras
        
        Escoge la de mayor número de inliers
    - - ¿Qué es un borde/contorno?
        
        Borde
        
        Frontera entre zonas
        
        Región
        
        Zona homogénea delimitada por bordes
        
        Discontinuidades en intensidad
        
        Profundidad
        
        Cambio brusco de distancia
        
        Normal superficie
        
        Orientación de la superficie
        
        Iluminación
        
        Sombras, cambio de iluminación
        
        Reflexión
        
        Propiedades de la superficie, marcas, textura
        
        Realidad ruidosa, no salto limplio
      - ¿Cómo se detecta?
        
        Borde ideal (sin ruido), escalón o rampa
        
        Primera derivada (gradiente) valor alto -> pico
        
        Segunda derivada -> cruce/paso por cero
        
        Propiedades de un borde
        
        Normal
        
        Dirección de máximo cambio de intensidad
        
        Dirección
        
        Dirección perpendicular a la normal
        
        Posición
        
        En imagen
        
        Fuerza
        
        Velocidad cambio de intensidad
        
        Operadores detección de bordes
        
        Primera derivada: gradiente
        
        Mide cambio local: diferencia de intensidad
        
        Describe magnitud y dirección del cambio
        
        Componentes x e y, magnitud y orientación
        
        Picos de magnitud -> Diferencias altas, evidencia de borde
        
        Umbral para decidir
        
        El gradiente responde al ruido (falsos picos)
        
        Suavizado, elimina altas frecuencias
        
        Convolución con filtro paso bajo -> Gaussiana
        
        Perjudica localización del borde
        
        Mejor enfoque -> Canny
        
        Aproximar gradiente con convolución con kernel horizontal y vertical
        
        Kernel de menor dimensión
        
        Más sensible al ruido
        
        Mejor localización
        
        Peor detección
        
        Kernel de mayor dimensión
        
        Menos sensible al ruido
        
        Peor localización
        
        Mejor detección
        
        Segunda derivada: laplaciana
        
        Mide cambios del gradiente
        
        Segunda derivada de f
        
        Pasos por cero (picos primera derivada)
        
        Realce de bordes
        
        Sensible al ruido, realza bordes
        
        Suavizado, elimina altas frecuencias, atenúa pendientes
        
        Convolución con filtro paso bajo -> Gaussiana
        
        Comportamiento de bordes a distintas escalas
        
        Solución filtrar a distintas escalas, distintas σ
        
        Aproximar Laplaciada con convolución con kernel
        
        Basta un kernel, es simétrico
        
        Combinar imagen original con Laplaciana
        
        Realza bordes
        
        Discretizar (kernel) y convolucionar: Prewitt, Sobel, ...
        
        Canny
        
        Detector de bordes más conocido
        
        Gradiente (Sobel) suavizado con Gaussiana
        
        Obtiene magnitud y orientación
        
        Determina picos significativos
        
        Elimina no máximos
        
        Histéresis de umbral (doble umbral T1<T2)
        
        Picos mayores que T2 bordes
        
        Picos menores que T1 no bordes
        
        Intermedios, bordes si está conectado a un borde
        
        Con supresión
        
        Filtros de Gabor
        
        Campos receptivos, e inhibición
        
        Aprendizaje automático
        
        Datos anotados
        
        Aprender probabilidad en base a diversas propiedades
        
        Evolución
        
        Comparativa con BSDS500
        
        BSDS-RIND
        
        MDBD
    - - Bordes y curvar describen contornos de objetos
      - Muchos objetos artificiales están determinados por líneas
      - Determinar bordes útiles, completarlos y tolerar ruido
      - Transformada de Hough (1962)
    - - Grupo de píxeles (patches) que comparten características
      - Agrupamiento o clustering
      - Información espacial, vecindad
      - Problema mal definido
      - División y unión de regiones
      - Basado en histogramas, color, textura, movimiento
      - Inundación o watershed, imagen como perfil topográfico
        
        Transformada de distancia
        
        Semillas en mínimos locales, se inunda
        
        Fronteras en puntos de encuentro entre cuencas
      - Snakes, contornos activos y funciones de energía
      - Meanshift
        
        Modela con k-means y mezcla gaussianas
        
        Localiza picos con centros y covarianza
        
        Aplicado en seguimiento
      - Normalized cuts
        
        Afinidades entre píxeles
        
        Separa aquellos con conexiones débiles
      - SAM (Segment Anything)
        
        Modelo fundamental
        
        Autosupervisado
        
        11M de imágenes, mil millones de máscaras
        
        Zero-shot
        
        SAM2
        
        Uso flexible
        
        Segmentación
        
        Dados contenedores o puntos interiores
        
        Entrenable
  - - - Proceso general
        
        Especificar modelo
        
        Generar hipótesis
        
        Puntuar hipótesis
        
        Resolver detecciones
    - - Localizar objeto en la imagen
      - Modelar el objeto
      - Comprobar multitud de ventana/zonas y escalas
      - Selección de características
      - Medidas de encaje/similitud
      - Cambios de punto de vista
      - Enfoques previos a DL:
        
        Viola y Jones (caras)
        
        Caras
        
        s. XX
        
        Heurísticas como color y movimiento, restricciones Sobottka et al.
        
        Color zonas similares a la piel humana
        
        Componentes conectados con restricciones geométricas
        
        Asumiendo cara frontal, estima ojos por proyecciones
        
        color y movimiento, restricciones
        
        Técnicas eficientes
        
        No robustas
        
        Aprendizaje automático
        
        No heurísticas
        
        Ventana deslizante
        
        Coste temporal del clasificador
        
        Rowley et al.
        
        Supervisado
        
        Modela clases y cara y no cara en zonas próximas
        
        Negativas con bootstrap
        
        Define mejor la frontera entre ambas clases
        
        Clasificador basado en redes neuronales
        
        Viola y Jones
        
        Hito en detección en "tiempo real"
        
        Clasificador en cascada, clasificadores débiles
        
        Reduce tiempo en zonas poco prometedoras
        
        Características de cómputo rápido
        
        Entrenamiento supervisado lento
        
        Detección rápida
        
        Imagen Integral
        
        Valor del píxel, suma situados encima y a la izquierda
        
        1 more item...
        
        Cálculo de suma en zona rectangular
        
        1 more item...
        
        Boosting
        
        Inicio, peso homogéneo para todas las muestras
        
        En cada iteración
        
        2 more items...
        
        Tras n iteraciones combinación lineal de clasificadores débiles
        
        Características basadas en Haar wavelet
        
        Diferencias de sumas de intensidades en zonas rectangulares
        
        Zonas blancas suman, zonas negras restan
        
        Variaciones tamaño y posición
        
        Evaluando miles de combinaciones
        
        Construir un clasificador con un subconjunto
        
        Ventajas
        
        Integra entrenamiento y selección de características
        
        Evaluación rápida
        
        Flexibilidad en elección de esquema de boosting
        
        Desventajas
        
        Entrenamiento lento
        
        Necesita muchas muestras
        
        A menudo no tan bueno como SVM
        
        Clasificador en cascada
        
        Siguiente nivel entrena con muestras aceptadas por anterior
        
        Cada nivel clasificador más complejo
        
        Ratios resultantes de detecciones, D, y de falsas detecciones, F, es la combinación de los de cada etapa
        
        Active Shape/Appearance Models (ASM/AAM)
        
        Modelo estadístico para la forma (contornos) y apariencia)
        
        Textura
        
        Local Binary Patterns (LBP)
        
        Descriptores locales invariantes a cambios de intensidad
        
        Histogram of Oriented Gradients (HOG)
        
        In the wild
        
        Combinaciones de árboles
        
        Muestras anotadas manualmente con todos los puntos
        
        Caras de cierto tamaño
        
        Convolutional Neural Networks (CNNs)
        
        Retinaface
        
        Pirámide: características (ResNet) a cinco escalas
        
        Contexto de la cabeza
        
        Regresión para estimar el contenedor
        
        Multi tarea
        
        Detección
        
        Máscara 2D
        
        Pose 3D
        
        Dalal y Triggs (personas)
        
        Histograma de gradientes orientados (HOG)
        
        Máquinas de vectores soporte (SVM)
        
        Proceso
        
        Normalización color
        
        Ventana deslizante
        
        Modelo de tamaño fijo
        
        Gradientes, HOG en cada ventana
        
        Normaliza con vecinos
        
        SVM lineal puntúa cada ventana
        
        NMS para eliminar detecciones solapadas pobres
      - DPM
        
        Ventana deslizante y modelos estadísticos
        
        Bien con objetos no deformables
      - Detectores actuales
        
        Detección como problema de clasificación
        
        Clasificar cada posible ventana/caja
        
        ¿Número de cajas? Dos píxeles componen una
        
        Imagen 500x500, píxeles n=250000
        
        Se dispara, mayoría de cajas negativas
        
        Detección como clasificación
        
        Búsqueda selectiva
        
        Selección ventanas candidatas
        
        Clasificación únicamente en cadidatas
        
        R-CNN
        
        Propuesta de regiones y características CNN
        
        Lento
        
        Selección de ventana no óptima
        
        Fast R-CNN
        
        Optimiza
        
        Reutiliza características entre candidatas
        
        Extrae candidatas desde el mapa de características
        
        Entrena propuesta de regiones candidatas
        
        YOLO
        
        Divide imagen en rejilla gruesa de SxS celdas
        
        Detecta objeto en celda con centro (IoU)
        
        Para cada celda:
        
        Puntuación de cada clase, predice etiqueta
        
        Contenedores candidatos, máximo dos por celda
        
        Objeto detectado múltiples veces, NMS por confianza
        
        Mismo objeto detectado en múltiples celdas, NMS
        
        Un único objeto por celda
        
        Objetos pequeños detectables limitado por tamaño celda
        
        Transformers
        
        Convolucionales sin contexto zonas alejadas
        
        Redes de atención
      - Evaluación del detector
        
        Contabilizar aciertos y fallos
        
        Precisión
        
        Exhaustividad
        
        Anotaciones y detecciones
        
        IoU (índice de Jaccard)
        
        Umbral sobre JI para decidir si hay encaje o no
        
        Valores menores más encajes
        
        Average precision (AP)
        
        Por clase/categoría
        
        Promedio curva precisión/recall para varios umbrales
        
        Puede interpolarse para eliminar outliers
        
        Mean average precision (mAP)
        
        AP, promedio para una clase
        
        Para nc clases, promedio de las respectivas APs
        
        Con una única clase, mAP = AP
        
        PASCAL Visual Object Challenge
        
        COCO
    - - Predecir máscara de segmentación de cada objeto
      - Problemas
        
        Semántica: etiquetado de clase por píxel
        
        Primeras propuestas etiqueta el píxel
        
        Color
        
        Localización y contexto
        
        Actualmente usan pirámides y CNN
        
        De ejemplares: delinear objetos relevantes
        
        Panoptic: etiquetar objetos y resto
        
        Estimación pose: píxeles de personas y sus partes
    - - Dos grandes grupos en reconocimiento de objetos
        
        Ejemplar/Instancia (instance recognition)
        
        Localizar objetos conocidos rígidos
        
        Cambios de puntos vista, oclusiones
        
        Clases o categorías
        
        Reconocer cualquier ejemplar de una clase
        
        Problema más general
      - Ejemplares
        
        Alineamiento geométricos
        
        Encaje de puntos, bordes y líneas
        
        Múltiples vistas y descomposición autovectores
        
        Encaje de puntos de interés invariantes
        
        Enfoques
        
        Tradicional
        
        Bag of words/features/keypoints
        
        Representación colección desordenada de descriptores
        
        Histograma de palabras presente en la imagen
        
        Compara con entrenamiento
        
        Sin verificación geométrica
        
        Basado en partes
        
        Representan partes y relaciones geométricas
        
        Importancia del contexto
        
        Aprendizaje profundo
        
        Continuo crecimiento
        
        Redes más eficientes
        
        Mayores y mejores conjuntos de datos
        
        Diferencias entre subcategorías sutiles, pocas muesras
        
        zero-shot learning
        
        Descripción de categorías no vistas antes
        
        Reconocimiento de caras
        
        Detección previa
    - - Hold-Out
        
        El conjunto de datos se divide en dos subconjuntos de entrenamiento y test
        
        Distribución escogida aleatoriamente
        
        Las muestras de cada clase deben mantener la misma distribución en ambos conjuntos, es decir, balanceada
      - Validación cruzada k-fold
        
        Particiona el conjunto de datos en un número de subconjuntos balanceados
        
        Valida resultados, repitiendo el experimento
        
        Divide muestras en k conjuntos disjuntos (folds)
        
        Inicializar la media del error a cero
        
        Para i=1 hasta k hacer
        
        Entrena con muestras de todos los subconjuntos excepto el i
        
        Usa subconjunto i como test para estimar el error
        
        Añade a la media de error
        
        Fin para
        
        Calcula promedio de los errores
      - Validación aleatoria repetida
        
        Divide las muestras de forma aleatoria en datos de entrenamiento y test
        
        Repite entrenamiento y test, promediando errores
        
        La ventaja sobre la validación k-fold es que no hay dependencias del número de iteraciones
        
        Riesgo de no emplear todas las muestras para test, en incluso repetir algunas en su uso
      - Leave-one-out cross-validation (LOOCV)
        
        Utiliza una muestra como test y el resto para entrenamiento
        
        Repite hasta emplear todas las muestras como test
        
        Similar a k-fold siendo k el número de muestras
    - - Seguimiento
      - Flujo óptico
      - Silueta
      - Pose
    - - Vision-Language Models (VLMs)
      - Propósito IA feneral
      - No basta construir modelos 3D o localizar en imágenes
      - Integrar con otros componentes de IA como comprensión del habla y lenguaje, etc.
      - Combinar VC y procesamiento del lenguaje natural (NLP)
      - Avances en asistentes virtuales
      - NLP
        
        Codificar el testo en k símbolos
        
        Palabras, k muy alto
        
        Caracteres, cada palabra múltiples códigos
        
        Byte-pair, equilibrio entre ambas: GPT y CLIP
      - Conectar texto e imágenes
      - CLIP empareja codificadores de texto e imagen
      - Image captioning
        
        Subtitulado y descripción de imágenes
        
        Vecino más cercano imágenes con similares subtiítulos
        
        Más reciente sistemas basados en atención
  - - - Módulos esquema básico
        
        Sensor
        
        Extractor de características
        
        Clasificador
        
        Base de datos
      - Huella dactilar, crestas y valles
        
        Minucias
        
        Bifurcaciones de las crestas, finales y otras características
        
        Pasos en el reconocimiento
        
        Escanear el dedo
        
        Si es un niño, se redimensiona
        
        Una rejilla determina puntos singulares
        
        Extraer características, descartar imagen
        
        Compara con las plantillas almacenadas, descartar
      - Iris
        
        Clasificación sin encaje perfecto
        
        FAR
        
        Impostores erróneamente reconocidos
        
        GAR
        
        Genuinos reconocimientos
        
        FRR
        
        Genuinos descartados
        
        EER
        
        Punto en el que FAR Y FRR coinciden
        
        DET
        
        FAR vs FRR para varios umbrales de decisión
        
        ROC
        
        GAR vs FAR
        
        AUC
        
        FTA O FTC
        
        Número de fallos del sistema capturando una muestra presente
        
        FTE
        
        Fracción de usuarios que no pueden registrarse con éxito
      - Rasgos
        
        Rasgo ideal, escalable, usable y preciso
        
        Robustez
        
        Distintivo
        
        Disponible
        
        Accesible
        
        Aceptable
        
        No existe perfecto, se quiere
        
        Universal
        
        Unicidad
        
        Permanencia
        
        Medible
        
        Eficacia
        
        Aceptabilidad
        
        Fiabilidad
    - - Tecnología biométrica
        
        Sin contacto
        
        A distancia
        
        Sin cooperación
        
        Sin rechazo
        
        Rápida, barata y precisa
      - Fortalezas
        
        Sin hardware adicional: cámaras de vigilancia
        
        Sin colaboración del individuo
        
        Sin contacto
        
        Una imagen para crear modelo, diverso a la huella
        
        Habitual ceder imagen para documentos
      - Debilidades
        
        Privacidad, uso indebido
        
        Amenazas públicas
        
        Dificultades: veto cultural, pelo, maquillaje, aspecto
        
        Sensibilidad a la iluminación y pose
    - - Pareidolia, fenómeno psicológico que hace reconocible un estímulo vago y aleatorio
      - Relación de la percepción con
        
        Iluminación
        
        Contraste
        
        Distancia
        
        Contexto
      - Humanos categorizan muy rápida y fácilmente caras
        
        sexo
        
        etnia
        
        edad
        
        personalidad
      - Peores comparando aspectos físicos
      - Fiabilidad depende de
        
        Estímulos
        
        Sujeto
        
        Fotometría
    - - Biometría blanda
        
        No sólo identidad
        
        Sexo, edad, etnia, accesorios, expresión facial, etc
    - - Generalización
        
        Discriminación algorítmica
        
        sesgo del entrenamiento
        
        Más datos
        
        Sesgo anotadores, sesgo datos
        
        Domain adaptation
        
        Transforma dominio objetivo para asemejarlo al de partida
        
        Técnicas generativas
        
        Perturbar muestras o aumento de datos
        
        Datos sintéticos
        
        Adversarial noise
      - Malas prácticas
        
        Videovigilancia muy extendida
        
        Imperfecta (mala resolución)
        
        Sesgo
        
        Datos biométricos almacenados
        
        Seguridad/privacidad
      - Deepfakes
        
        Manipulación de imágenes no es nueva
    - - ENCARA2
        
        Combina técnicas para vídeo
        
        Tras no detección
        
        Viola-Jones para iniciar el modelo
        
        Tras detección: Coherencia temporal múltiples pistas
        
        Versátil en imágenes menos controladas
      - Clasificación de sexo
        
        Dominio de técnicas basadas en apariencia
        
        FERET cercano al 100% y >90% en cross-database
        
        Conjunto de datos grandes no controlados:
        
        Identidades, edades, etnias
        
        Sin iluminación ni pose controlada
      - Clasificación adulto/no adulto
      - Pipeline
        
        Normalización, cara y contexto (cabeza hombros)
        
        Múltiples zonas de interés
        
        Características (descriptoras locales)
        
        Histogram of Oriented Gradients (HOG)
        
        Local Binary Patterns (LBP) and unifor Local Binary Patterns (LBPu2)
        
        Local Gradient Patterns (LGP)
        
        Weber Local Descriptor (WLD)
        
        Local Phase Quantization (LPQ)
        
        Local Salient Patterns (LSP)
        
        Intensity based Local Binary Patterns (NILBP)
        
        Local Ternary Patterns (LTP)
        
        Local Oriented Statistics Information Booster (LOSIB)
      - Interacción humano-máquina
        
        Robot de servicios
        
        Re-identificación
        
        Multibiometría
        
        Reconocimiento facial
        
        AveRobot
        
        Fusión audio e imagen
        
        Confianza detector y calidad
      - Expresiones faciales
        
        Imagen o vídeo
        
        Multimodal
    - - Demostrar la identidad
      - Evitar rechazo autoría de una acción
      - Historia
        
        Huella mano prehistoria
        
        Huellas dactilares 500 adC
        
        Sistema de Bertillon
        
        Medidas antropométricas
        
        Minucias
        
        Iris
      - Definición
        
        Evitar el recurso de un impostor
        
        Identificación
        
        Compara con base de datos de identidades
        
        Verificación/autenticación
        
        Compara con datos fiables de la persona que dice ser
      - Mecanismos
        
        Algo que se tiene
        
        Algo que se dabe
        
        Algo que se es
      - Ventajas
        
        Detecta nuevos registros con otra id
        
        Evita el repudio, el "yo no fui"
      - Desventajas
        
        Dejas nuestra tarjeta a otra persona
        
        Problemas de privacidad
        
        Errores ante datos incompletos
        
        No se puede resetear
    - - Cara, rasgo más usado por humanos
      - Proceso dedicado en cerebro
      - Características locales y holísticas
      - Mejor nuestro contexto
      - Pasos
        
        Detección
        
        Normalización/alineamiento
        
        Extracción de características
        
        Selección de características
        
        Clasificación
      - Dificultades
        
        Iluminación
        
        Pose
        
        Permanencia (edad)
        
        Oclusión
      - Entrada
        
        Imagen
        
        Video
        
        Imagen 3D
        
        Termogramas
        
        Infrarrojo
      - Basado en imagen
        
        Correlación
        
        Suma de diferencias píxel a píxel
        
        Muy dependiente de las imágenes
        
        PCA (Autocaras/eigenfaces)
        
        Previo, imagen como vector de características
        
        Cada píxel una medida: ancho*alto (en grises)
        
        Alta dimensión
        
        Subespacios
        
        Reduce dimensionalidad de los datos
        
        Proyectar a espacio de representación
        
        Permite reconstruir
        
        Clasificar en dicho espacio
        
        Imagen como suma ponderada de vectores principales
        
        Encaje de grafos
        
        Puntos característicos
        
        Filtros de Gabor en cada punto
        
        Capturan orientación, localización, frecuencia y saliencia
        
        Escoger número de escalas y orientaciones en cada escala
        
        Gaborface, convolución resultante de una imagen
        
        Rejillas o boosting para reducir dimensión
        
        Active Shape Model
        
        Híbrido, forma y apariencia
        
        Por componentes
        
        Mayor número de muestras por individuo
        
        Utiliza 9 componentes y la cara completa
        
        Patrones locales
        
        Descriptor de texturas
        
        Basado en histogramas
        
        Relación de vecinos en un radio con el píxel central
        
        HOG
        
        Imagen promedio
        
        Humanos, mejor con imagen promedio que ejemplares
        
        DeepFace
        
        Modelado 3D para la etapa de alineamiento
        
        Red neuronal de 9 capas
        
        En su momento mejor resultado en LFW
        
        FaceNet
        
        Mapeo a espacio euclídeo compacto
        
        128 descriptores
        
        VGGFace2
        
        2048 descriptores
        
        ArcFace
      - Basado en distancias
      - Basado en vídeo
        
        Múltiples imágenes, ejemplares de un vídeo
        
        Determinar los más adecuadas: Face Quality Assessment (FQA)
        
        AveRobot
        
        Fusión audio e imagen
        
        Medidas calidad imagen
      - Infrarrojos
      - Resumen
        
        Peor rendimiento frente a iris o huella
        
        Problemas
        
        No permanencia: edad
        
        Peso
        
        Cirujías
        
        Maquillaje
        
        Vello facial
        
        ETC
- - - - Introducción
        
        Alineamiento en imágenes
        
        Homografías
        
        Ransac
        
        Eliminar Outliers
        
        Estimación de movimiento
        
        Alineamiento en vídeo
        
        Movimiento de píxeles
        
        Aplicado a estabilización de cámara
        
        Con flujo óptico y/o seguimiento de patrón
        
        Movimiento como pista perceptiva
        
        A veces única pista disponible
        
        Potente incluso empobrecido
        
        Estimación
        
        Campo de movimiento de secuencia
        
        Movimiento 3D de puntos escena
        
        egomovimiento de la cámara
      - Traslacional
        
        Encaje más simple de dos imágenes
        
        Imagen f0(x) con conjunto discreto de plíxeles pi=(xi,yi)
        
        Minimizar suma de diferencias de cuadrados (SSD) o residuos
        
        u desplazamiento (dos componentes), ei error residual
        
        Solución de mínimos cuadrados
        
        Regresión lineal que minimiza residuos
        
        Permite eliminar píxeles/partes de la imagen
        
        Alternativa a Essd o diferencia de intesidades
        
        Correlación, máximo del producto
        
        Correlación cruzada normalizada (rango [-1,1])
        Obvia efecto de brillos altos:
        
        ¿Cómo buscar el mínimo (o máximo con correlación)?
        
        Búsqueda exhaustiva por todo el rango de u
        
        Estimación de movimiento jerárquica
        
        Basada en pirámides:
        
        Buscar a menor resolución
        
        La estimación en un nivel, inicializa en niveles más finos
        
        Variantes con transformada de Fourier
        
        Refinamiento
        
        Lo anterior alinea al píxel más cercano
        
        Estabilización y snitching necesitan más exactitud
        
        Buscar valores discretos (u,v) alrededor del mejor
        
        Fotogramas consecutivos, saltos pequeños espacio-tiempo
        
        Asumible brillo idéntico de los píxeles
        
        Restricción de constancia de brillo
        
        Constancia de brillo en pequeños lapsos de tiempo
        
        Lineada con expansión de Taylor
        
        Términos espacial y temporal
        
        Uso frecuente para el cálculo del flujo óptico
      - Flujo óptico
        
        Cálculo de movimiento por píxel, más general
        
        Campo de movimiento proyecta movimiento 3D en la imagen
        
        Flujo óptico: aproxima movimiento real
        
        Producido por
        
        Movimiento de cámara
        
        Del objeto
        
        Iluminación
        
        Minimizar diferencias de grises entre píxeles
        
        Movimiento aparente de los patrones de brillo
        
        Estimación
        
        Dados fotogramas en t y t-1
        Campo de movimiento aparente u(x,y) y v(x,y) entre ellos
        
        Asume
        
        Constancia de brillo: Puntos similares o idénticos
        
        Movimiento reducido
        
        Coherencia espacial en vecindad
        
        Problema de apertura
        
        Mala textura afecta a que el sistema sea resoluble
        
        Denominado problema de apertura
        
        Lucas-Kanade
        
        Una ecuación por píxel, con dos incógnitas
        
        Coherencia espacial: idéntico desplazamiento (u,v)
        
        Más ecuaciones integrando vecindad (5x5 -> 25 ec.)
        
        Evita problemas de apertura con esquinas
        
        Para n vecinos, resolución de mínimos cuadrados
        
        Problema bien condicionado con esquinas
        
        LK tiene problemas si
        
        Movimientos amplios
        
        Puntos que no se mueven como vecinos
        
        Sin constancia de brillos
        
        Refinamiento iterativo, multiresolución
        
        Estima velocidad del píxel con una iteración LK
        
        Transforma una imagen en la otra con la estimación
        
        Refina repitiendo el proceso
        
        Segmentación de movimiento
        
        Superar movimiento dispar entre vecinos
        
        Movimiento por capas, útil para seguimiento
        
        Si no hay constancia de brillo
        
        Encaje de puntos de interés (SIFT)
        
        Seguimiento (tracking)
        
        Aplicaciones
        
        Análisis de vídeo
        
        Estabilización
        
        Detección cambio de plano
        
        Amplificación de movimiento
        
        Seguimiento y segmentación de objetos
        
        Estructura desde movimiento
        
        Encaje estéreo
        
        Reconocimiento de eventos y actividad
        
        Aprendizaje autosupervisado y predictivo
        
        Reconocimiento de acciones
        
        Detección de planos
        
        MAgnificado
        
        Interpolación de fotogramas
        
        Imagen estática
      - Seguimiento
        
        Detectar uno o varios objetos (targets) en vídeo
        
        Modelar cambio
        
        Asociación de objetos en diversos fotogramas (identidades)
        
        Útil asignar identidades y observar comportamiento temporal
        
        Detección inicial del objeto automático o manual
        
        Seguimiento sin detección (detection-free tracking)
        
        No requiere un detector
        
        Inicialización manual de objetivos
        
        Válido para objetos sin detector
        
        Seguimiento con detección (detection based tracking)
        
        Seguimiento para fallos del detector
        
        Gestiona nuevos objetos
        
        Gestiona aquellos que desaparecen
        
        Detectar es costosos, seguir menos costoso
        
        Tracking by detection
        
        En ocasiones sin seguimiento, sólo cajas detectadas
        
        Tipos
        
        Un objeto (Single Object Tracking o SOT)
        
        Habitualmente sin detector, detección manual inicial
        
        Múltiples objetos (Multiple Object Tracking o MOT)
        
        Detecta nuevos objetos, y mantiene presentes
        
        Dificultades
        
        Correspondencia entre fotogramas
        
        Oclusiones y cruces
        
        Deformaciones: escala, rotaciones
        
        Desenfoque por movimiento
        
        Iluminación
        
        Fondos complejos (Background clutter)
        
        Resolución
        
        Seguimiento en base a
        
        Puntos de interés
        
        Patrón
        
        color
        
        Silueta
        
        Flujo óptico
        
        ....
        
        Detección del objetivo
        
        Diferencia de fotogramas
        
        Cámara estática
        
        Sustracción de fondo
        
        Cámara estática
        
        Flujo óptico
        
        Aplicaciones
        
        Videovigilancia
        
        Monitorización animales
        
        Deportes
        
        Seguridad vehículos
        
        VIsual SLAM
      - Filtro de Kalman
        
        FK sin ruido
        
        Sistema dinámico
        
        Sistema estático
        
        Resultado
        
        Asume distribución normal, gaussiana
        
        Medida caracterizada por su exactitud y precisión
        
        Radar presenta errores de medición
        
        medida residual, conocida como innovación
        
        Ecuación de actualización de estado, generaliza Factor
        
        Estimación estado: múltiples mediciones y promedio
        
        Errores de medición
        
        Radar observa avión parado en tierra
        
        Modelo dinámico del sistema constante: su posición no cambia
        
        Sin cambios de estado en t
        
        Sistema el avión, estado su posición
        
        Escenario radar y avión
        
        Predecir estado parece trivial, pero:
        
        Ruido del proceso: viento, turbulencias, etc.
        
        Ruido medición
        
        Estado del sistema
        
        Aceleración
        
        Velocidad
        
        Posición
        
        En seguimiento, medición proporcionada por la detección
        
        Dadas estimación y medición, estima estado futuro del objetivo
        
        Predicción estado del sistema
        
        Frecuente uso del filtro de Kalman
        
        Durante el seguimiento, estimar posición en futuros fotogramas
        
        Resumen
        
        Algoritmo que estima estado del sistema
        
        Estima variables ocultas a partir de otras observables
        
        Maximiza probabilidad a posteriori
        
        Asume
        
        Dinámica lineal
        
        Ruido blanco, aditivo y gaussiano de las medidas
        
        Existen variantes, alternativas como el filtro de partículas
        
        Aplicaciones
        
        Seguimiento de proyectiles
        
        Seguimiento de cabezas/manos, etc.
        
        Movimiento de labios
        
        Ajuste de Bezier a nubes de puntos
        
        Economía
        
        Navegación
  - - - Perspectiva
        
        Proyección de coordenadas de cámara al plano imagen
      - Calibración
        
        Transformación de coordenadas del mundo a cámara
        
        Coordenadas homogéneas
      - Intrínsecos
        
        Punto principal
        
        Intersección eje principal con plano imagen
        
        Origen en coordenadas de la cámara
        
        Coordenadas de la imagen, origen esq. sup. izquieda
        
        Suele asumirse el centro de la imagen
        
        Focal
        
        Escalado
        
        Factor de escala
        
        Mapeo del mundo a unidades de píxeles
        
        Píxeles no rectangulares
        
        Distorsión radial
      - Extrínsecos
        
        Homografía
        
        Relaciona puntos sobre un plano en dos imágenes
        
        Matriz 3x3, nueve valores, pero 8 incógnitas
        
        Necesarios al menos pares de 4 puntos en ambas imágenes
        
        Cada par, dos ecuaciones
        
        Estimar la cámara, también conocido como estimación de pose
        
        Relacionar sistemas de coordenadas de cámara y el mundo
        
        Determinar traslación y rotación
        
        Seis incógnitas
        
        Método lineal, Direct Liear Transform (DLT)
        
        Homografía entre dos sistemas de coordenadas
        
        Al menos seis pares de puntos (no coplanares)
        
        Ecuaciones por cada correspondencia 3D-2D
        
        Resolución con Descomposición en Valores Singulares
        
        Solución lineal proporciona la matriz de transformación
        
        Posteriormente parámetros intrínsecos
    - - Estimar información 3D de una imagen
        
        Perspectiva
        
        Puntos de fuga
        
        Objetos artificiales como edificios, etc
        
        Intersectar líneas 2D que se corresponden a paralelas
        
        Obtención de puntos de fuga
        
        Aproximación focal
        
        Permite estimar medidas
        
        Detección de bordes (canny)
        
        Repetir
        
        Tomar dos segmentos y calcular intersección p
        
        Sp conjunto de segmentos que pasan por p
        
        Escoger p con mayor Sp como punto de fuga dominante
        
        Eliminar segmentos que tocan a p, volver a 2
        
        Objetos de referencia
      - Invarianza de la perspectiva de líneas
        
        Razón anarmónica o doble (CR de cross-ratio) invariante geométrico compartido por puntos originales proyectados
      - Midiendo alturas
        
        Relación anarmónica en escena e imagen
        
        Con punto de fuga en infinito simplifica
      - Casos de uso
        
        Realidad aumentada
        
        Determinación posición 3D de vehículos
        
        Puntos de fuga en rectas
        
        Modelos concretos para calibración
        
        No siempre rectas
      - Profundidad monocular
        
        A partir de una imagen diversas pistas
        
        Intensidad
        
        Perspectiva
        
        Tamaño relativo
        
        Tamaño conocido
        
        Atenuación atmosférica
        
        Oclusión
        
        Gradientes de textura
    - - Dos cámaras, una escena, dos imágenes
      - Epipolos
        
        Interseción recta con plano imagen
        
        Cada epipolo es la proyección de la otra cámara
      - Dos cámaras y la recta que une sus centros C y C'
        Dado un punto X, y sus proyecciones en cada cámara
        Conforman el plano epipolar, intersecta con planos imagen
        Uno de los posibles planos pasan por C y C'
      - Líneas epipolares conectan epipolos y proyección de X
      - El aspecto de las líneas epipolares, difieren según los epipolos
        
        Epipolos finitos, cuando aparecen en la imagen
        
        Movimiento paralelo al plano imagen
        Epipolos muy alejados, líneas paralelas
        
        Movimiento perpendicular al plano imagen
        Epipolos coincidentes con punto principal
      - Restricción epipolar
        
        Dado un punto proyectado, x, en una cámara
        
        Se localiza en la otra cámara en la línea epipolar
        
        Dos puntos x y x' están en líneas epipolares l y l' que encajan
        
        Sus rayos visuales se cruzan en el espacio
        
        Pueden ser proyecciones del mismo punto 3D X o no
      - Restricción epipolar en cámaras calibradas
        
        K y K' conocidas (intrónsecos)
        
        x', Rx y t son coplanares o linealmente dependientes
        
        Producto vectorial en forma matricial
        
        Propiedades de la matriz esencial
        
        Ex es la línea epipolar asociada con x
        
        E^Tx' es la líena epipolar asociada con x'
        
        Ee = 0 y E^Te' = 0
        
        E es singuar (rango 2) y tiene cinco grados de libertad
        
        Propiedades de la matriz fundamental
        
        Fx es la línea epipolar asociada con x
        
        F^Tx' es la línea epipolar asociada con x'
        
        Fe = 0 y F^Te' = 0
        
        F es singular (rango 2) y tiene siete grados de libertad
    - - Estéreo
        
        Para cada píxel en la imagen, buscar encaje en línea epipolar
        
        Par estéreo
        
        Rectificar con homografía si fuera necesario
        
        Encaje de píxeles, triangulación
        
        En resumen
        
        Calibración de cada cámara
        
        Calibración estéreo obtiene matriz esencial/fundamental
        
        Rectificación estéreo
        
        Disparidad y estimación de profundidad
      - Triangulación
        
        Profundidad desde la disparidad entre par estéreo calibrado
        
        Disparidad proporcional a la profundida
        
        Posición 3D a partir de
        
        posicines en imagen
        
        localizaciones conocidas de las cámaras
        
        En general no habrá plano epipolar ideal
        
        Errores numéricos y ruido
        
        Punto que queda más próximo a todos los rayos ópticos
      - AR
      - SLAM
      - DENSA
    - - Geometría y movimiento de cámara con dos o más imágenes
      - Proceso
        
        Detección de buenos puntos
        
        Correspondencia entre imágenes
        
        Estimación movimiento y estructura 3D
        
        Refinamiento
        
        Ajuste a superficies
      - Recuperar posición 3D de cámara y puntos de interés
      - RANSAC (RANdom SAmple Consensus)
        
        Seleccionar un subconjunto número de correspondencias
        
        Estimar estructura y movimiento
        
        Contar número de inliers
        
        Tomar subconjunto con mayor número
        
        Lanzar proceso completo de mínimos cuadrados
      - Buscar puntos con información previa de movimiento
      - Estimación de localización
      - Integración de incertidumbre
        
        Filtro de Kalman
        
        Actualiza estado del sistema
        
        Modelo gaussiano
        
        Filtro de partículas (Condensation)
        
        Actualiza distribución de probabilidades
        
        Permite múltiples hipótesis
    - - Función plenóptica
        
        Intensidad de la luz pasando por un punto 3D
      - Radiance field (Campo de radiancia /resplandor)
        
        Escena como nube de partículas con distinta transparencia
        
        Intersección luz, color y geometría
        
        Reproducción volumétrica, con densidad como transparencia
      - Neural Radiance fields (NeRFs, 2020)
        
        Modela L con una red neuronal a partir de un conjunto de imágenes
        
        Irrupción aprendizaje automático
        
        Rayos desde la cámara muestrean
        
        Escena como función continua
        
        Predicción intensidad y color
      - Gaussian Splatting (dispersión gaussiana) (2023)
        
        Desde nubes de puntos
        
        Gaussianas, no redes neuronales
        
        Discretiza en campo de radiación
        
        60 fps en GPU estándar
      - NeRF vs Gaussian Splatting
        
        Nerf
        
        Detalle, suavidad, interacciones lumínicas realistas, mejor en materiales complejos
        
        Gaussian Splatting
        
        Velocidad, eficiencia, renderizado real-time, edición interactiva
  - - - Cámaras tradicionales
        
        Grados de libertad
        
        Apertura
        
        Exposición
        
        Enfoque
        
        ISO
        
        Punto de vista
        
        Iluminación
        
        Limitaciones
        
        Lentes
        
        Aberraciones
        
        Desenfoque
        
        Sensores
        
        Ruido
        
        Rango dinámico
        
        Sensibilidad espectral
        
        Cámara
        
        Profundidad de campo
        
        Campo de vista
        
        Movimiento
      - Definición fotografía computacional
        
        Extender las capacidades de la fotografía digital obteniendo una foto ordinaria que no se puede sacar con una cámara tradicional
    - - Toda imagen contiene
        
        Zonas saturadas (sobrexpuestas)
        
        Oscuras (infraexpuestas)
      - Valores medibles por una cámara
        
        cd/m^2
        
        Candela por metro cuadrado
        
        Unidad de luminancia del Sistema Internacional
      - Fotografía/pintura medio limitado
        
        Plano
        
        Tamaño
        
        Punto de vista único
        
        Rango
      - Fotografía en película
        
        Revelado con sistema zonal
      - Combinar imágenes con distintas exposiciones
        
        Calibración radiométrica
        
        Promedio ponderado por tiempo de exposición
        
        Se producen cambios de contraste y halos
      - Proceso mejorado
        
        Estimar mapa de brillo (radiance) de píxeles a distintas exposiciones
        
        Mapeo tonal (tone mapping) del rango dinámico resultante mostrante
    - - Extraer objeto de imagen y pegarlo con otro fondo
      - Efectos especiales en cine, edición de fotografía, etc.
      - Técnicas de segmentación
      - Dificultades en fronteras
      - Copia efectiva del objeto F, sobre fondo B
        
        Requiere opacidad parcial para la composición
        
        Canal alfa, 32 bits RGBA
        
        Valor entre 0 y 1 para oclusión parcial
      - No apto fenómenos complejos como vidrio tintado o lupa
      - Operación inversa, estimar F, B y alfa desde C, no trivial
        
        Para cada píxel, 7 incógnitas
        
        Tripleta F
        
        Tripleta B
        
        Alfa
        
        Si el fondo es conocido (azul/verde) se reduce a 4
      - Pantalla azul (blue screen matting)
        
        Asume fondo, B de color constante
        
        Color no presente en F
      - Trimap
        
        Nada conocido del B
        
        Disponible segmentación grosera
        
        F seguro
        
        B seguro
        
        Indeterminado
    - - Homogeneidad de zonas
      - Repetición estructural y/o estadística
      - Sujeta a distorsiones
      - Análisis
        
        Comparar y confirmar si son parte de lo mismo
      - Síntesis
        
        Dada muestra, generar imagen (mayor) similar
      - Textón
        
        Unidad básica de textura estructural
        
        Homogénea en forma, color, intensidad, etc
      - Estadísticos
        
        De primer orden
        
        Histogramas (HOG, LBP, etc.)
        
        Sin información de repetición
        
        De segundo orden
        
        Pares de píxeles
        
        Contraste, disimilitud, energía, entropía, correlación
        
        Respuesta a filtros
      - Síntesis de texturas estocásticas
        
        Heeger y Bergen (1995)
        
        Proceso iterativo partiendo de imagen de ruido
        
        Representación basada en pirámides
        
        Efros y Leung (1999)
        
        Probabilidad de distribución de p según vecindad
        
        Mayor encaje de histogramas en la muestra, selección aleatoria
        
        Proceso iterativo para cada píxel
        
        Heeger y Bergen relacionado con GANs
        
        Crear textura con estadísticos del histograma similares
        
        El proceso de Efros y Leung es eliminación de ruido
        
        Próximo a modelos de difusión
      - Aprendizaje automático desde vector de características
      - Aprendizaje profundo
        
        CNN aprendizaje de banco de filtros
        
        Requiere muchos datos
        
        U-Net, aplicable con pocos datos
      - Aplicaciones
        
        Filtros, NPR, transferencia de estilo
        
        Transferencia de textura
        
        Image inpainting/outpainting
        
        Superresolución
        
        Mejora